Meta AI revela o modelo Code Llama 70B

• LLM de alto desempenho para geração de código, criado a partir do Llama 2 com mais dados amostrados de um conjunto de dados especializado em código e treinado por mais tempo
• Alcança 67,8 no HumanEval, mostrando o melhor desempenho entre os modelos abertos
• Assim como na licença anterior, pode ser usado tanto para fins de pesquisa quanto comerciais
• 3 modelos
  • CodeLlama-70B
  • CodeLlama-70B-Python
  • CodeLlama-70B-Instruct
• Agora disponível em 4 tamanhos: 7B/13B/34B/70B

[ragingwind]

Se for possível rodar localmente em um M2 Max ou superior, acho que vai ser o melhor brinquedinho.

[xguru]

Quando for quantizado, provavelmente vai rodar bem. Será que não sai daqui a pouco?

[xguru]

O link acima é para solicitar acesso à Meta, mas no Hugging Face já está tudo disponível
https://huggingface.co/codellama

[GN⁺]

Opiniões no Hacker News

• Desenvolvi o plugin CodeGPT para Jetbrains, que pode ser executado localmente. O plugin pode ser visto aqui.
• É possível conferir o modelo no Hugging Face: CodeLlama-70b-hf.
• Um usuário que usa ChatGPT e GitHub Copilot se pergunta como poderia usar esses modelos no VS Code. Há muitas extensões de GPT para VS Code, mas como a maioria não recebe atualizações ou leva a planos pagos, ele acha melhor continuar usando o GitHub Copilot.
• É preciso reconhecer que a Meta demonstrou um excelente compromisso com machine learning open source.
• Vendo como os modelos pequenos de código são bons, fico curioso para saber que capacidades esse modelo 70B vai mostrar.
• Muita gente menciona usar uma 4090 e modelos pequenos, mas raramente vejo uma análise sobre consumo de energia. Acho que a Microsoft subsidia bastante o Copilot e, se alguém o usar durante 30% do dia, fico curioso sobre quantos kWh por mês um modelo 7B ou 13B em uma 4090 consumiria e quanto isso custaria em energia.
• Gostaria de saber qual é atualmente o melhor modelo local no estilo Copilot e se existe alguma extensão para vscode que ofereça uma experiência parecida. Tenho uma 4090, então espero conseguir rodar uma boa quantidade de modelos.
• Baptiste Roziere fez recentemente uma excelente palestra sobre o Code Llama, e a palestra pode ser assistida aqui.
• Seria interessante se desse para rodar isso localmente em dispositivos como o M2 Max e, por meio de um plugin de IDE, ter algo como o Copilot. Isso pode economizar tempo ao resolver problemas tediosos em um projeto ou escrever código "boilerplate", permitindo focar em tarefas mais difíceis de engenharia de software.
• É possível que o programador mediano não tenha hardware para rodar isso na velocidade necessária, então não está claro para quem esse plugin é direcionado. Ainda assim, é um recurso muito legal.