YaLM 100B - modelo de linguagem estilo GPT com 100 bilhões de parâmetros
(github.com/yandex)- Tornado público pela Yandex, pode ser usado gratuitamente por qualquer desenvolvedor/pesquisador
- Treinado por 65 dias em 800 GPUs A100 com 1,7 TB de textos em inglês e russo
- Baseado no código Megatron-LM da Microsoft
Ainda não há comentários.