BigCode - projeto de criação de IA para geração de código feito em código aberto

 (bigcode-project.org)
10 pontos por xguru 2022-09-29 | 4 comentários | Compartilhar no WhatsApp
  • Projeto aberto para criar um LLM (Large Language Model) para código-fonte que oferece funcionalidades semelhantes ao Codex da OpenAI, usado no Copilot do GitHub
  • Será desenvolvido em colaboração entre a Hugging Face e a ServiceNow R&D
  • O objetivo é fornecer um conjunto de dados em escala para treinar sistemas de geração de código
  • Conjunto com 15 bilhões de parâmetros, maior que o Codex

Leituras relacionadas

4 comentários

 
xguru 2022-09-29

Como o CoPilot, que custa dinheiro, acaba tendo várias limitações, seria ótimo se isso provocasse uma grande mudança, como o Stable Diffusion.
 
ffdd270 2022-09-29

Acho que seria bom se pudesse rodar localmente também, como o Stable Diffusion. De qualquer forma, o Copilot precisa de comunicação externa (por mais que proteja bem a privacidade do código e até faça criptografia). E eu fico um pouco receoso porque o código-fonte acaba sendo incluído nessa comunicação.
 
laeyoung 2022-09-29

Isso mesmo.

Na prática, como é um LLM (Large Language Model), acho que não vai dar para rodar diretamente localmente, mas se pelo menos tiver um tamanho que dê para colocar on-prem, já seria bem útil. Com 15 bilhões de parâmetros, ele fica num meio-termo entre o GPT-2 (1,5 bilhão) e o GPT-3 (175 bilhões) em termos de tamanho de parâmetros... será que rola? T_T
 
ffdd270 2022-09-29

Pelo que eu sei, o GPT-2 podia ser executado localmente... ou pelo menos podia. O Tabnine é baseado nesse modelo e até oferece um modelo local.