SantaCoder - modelo de geração de código treinado com 1,1 bilhão (1.1B) de parâmetros

 (huggingface.co)
6 pontos por xguru 2022-12-29 | 2 comentários | Compartilhar no WhatsApp
  • Modelo de linguagem multilíngue treinado com código Python, Java e Javascript
  • Dizem que supera o InCoder (6.7B) do Facebook e o CodeGen-Multi (2.7B) da Salesforce em geração LTR e infilling
  • Usa parte do dataset The-Stack v1.1 (6TB), publicado pela BigCode

Leituras relacionadas

2 comentários

 
siabard 2022-12-29

No momento, os projetos de IA estão avançando com tudo meio que na força bruta do desempenho via número de parâmetros, mas fico curioso para saber em que nível o preço precisaria ser definido para garantir rentabilidade. Será que, como no CoPilot, $10 por mês realmente conseguem cobrir os custos...? (Embora eu saiba que se preocupar com grandes empresas seja meio inútil...)
 
xguru 2022-12-29

O CoPilot do GitHub tem 12B, mas dizem que há uma certa diferença na qualidade do código gerado em relação a ele.