Turing-NLG, o modelo de linguagem de 17 bilhões (17b) de parâmetros apresentado pela MS

• Baseado em Transformer

• O maior modelo da época, com mais de 10 vezes o número de parâmetros em comparação com BERT-Large 340M, RoBERTa 355M e OpenAI GPT-2 1.5b

• Foi possível graças ao DeepSpeed e ao ZeRO

Dizem que até o próprio texto de resumo na página de apresentação foi gerado pelo Turing-NLG

"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."