Facebook libera em código aberto modelo capaz de traduzir 100 idiomas sem depender do inglês

O M2M-100 é um modelo de MMT (Multilingual Machine Translation),

sendo o primeiro a possibilitar tradução mútua entre 100 pares de idiomas sem depender de dados em inglês.

A maioria das traduções passa pelo inglês, que tem mais dados de treinamento, mas este modelo traduz diretamente e assim preserva melhor o significado.

Apresentou resultados mais de 10% melhores na pontuação BLEU (Bilingual Evaluation Understudy).

Foi treinado em um total de 2.200 direções de idioma, 10 vezes mais do que os modelos multilíngues anteriores de ponta centrados no inglês.

Com o M2M-100, a qualidade da tradução melhora para pessoas que usam idiomas com poucos recursos.

Neste texto, são compartilhados detalhes sobre o conjunto de dados de treinamento de MMT e sobre como o modelo foi construído,

além do próprio modelo, dos métodos de treinamento e de avaliação, para que outros pesquisadores possam reproduzir e avançar em modelos multilíngues melhores.

Também é possível baixar o arquivo do modelo treinado com 12 bilhões de parâmetros (136GB).