OPT - o modelo de linguagem em escala GPT-3 (175B) lançado pela Meta

"Open Pre-trained Transformer Language Model"

• Esses modelos de linguagem de grande escala exigem um investimento considerável para serem construídos, e é difícil fazer pesquisa quando apenas o acesso via API é disponibilizado
• Para pesquisadores interessados, o modelo completo, o código dos experimentos e o logbook foram disponibilizados para download
• Requer apenas 1/7 da pegada de carbono do GPT-3

[xguru]

https://github.com/facebookresearch/metaseq