StarCoder, o LLM para código lançado pelo projeto BigCode

• Modelo de 15,5B treinado com 1 trilhão de tokens em mais de 80 linguagens de programação
• Usa MQA para geração eficiente e tem uma janela de contexto de 8192 tokens
  • StarCoderBase: treinado com o conjunto de dados The-Stack v1.2 (6 TB), com dados de mais de 80 linguagens
  • StarCoder: modelo treinado adicionalmente para Python
• Oferece demo de chat e extensão para VSCode

[ninebow]

Este é o link para o artigo no post de anúncio no Twitter. :)

https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view

[ninebow]

Parece que também foi disponibilizado para uso direto no HuggingFace Chat. :)
https://huggingface.co/chat/?model=bigcode/starcoder

[xguru]

SantaCoder - modelo de geração de código treinado com 1,1 bilhão (1.1B) de parâmetros