MS e Nvidia anunciam o MT-NLG 530B, o maior modelo de linguagem do mundo

• Megatron-Turing Natural Language Generation

• 530 bilhões de parâmetros, maior que os 175 bilhões do GPT-3

• Apresenta uma precisão sem comparação com os modelos anteriores

• → conclusão de frases, compreensão, raciocínio de senso comum, inferência em linguagem natural etc.

• 105 camadas, baseado em Transformer

• GPU NVIDIA A100 Tensor Core & rede HDR InfiniBand

• Cluster de supercomputação NVIDIA Selene e Microsoft Azure NDv4