- A Meta apresentou o Code Llama, um modelo voltado exclusivamente para programação, construído com base no Llama 2.
- Ele pode gerar código a partir de prompts em código e em linguagem natural, e em seus próprios benchmarks apresentou desempenho superior ao do ChatGPT.
- Foram lançados modelos de 7B, 13B e 34B, treinados com 500 bilhões de tokens de código e dados relacionados.
- Suporta até 100 mil tokens de contexto, facilitando escrever programas mais longos ou inserir condições detalhadas e código real no prompt.
- Além do modelo principal, o Code Llama também foi lançado em duas variantes adicionais.
- Code Llama - Python: modelo ajustado com fine-tuning adicional em 100 bilhões de tokens de código Python.
- Code Llama - Instruct: modelo ajustado com fine-tuning em 5 bilhões de tokens de instrução, otimizado para entrada em linguagem natural e saída em código.
- Como os outros modelos não são otimizados para linguagem natural, este deve ser usado para gerar código a partir de linguagem natural.
- Os resultados de avaliação com HumanEval e MBPP indicam desempenho equivalente ou superior ao do ChatGPT (GPT 3.5).
- Enquanto o GPT 3.5 registrou 48,1% no HumanEval, o Code Llama - Python registrou 53,7%.
- O GPT 4 ainda está à frente com 67%.
- A Meta adicionou diversas medidas de segurança para minimizar o risco de o Code Llama gerar código malicioso.
- Em testes práticos, ele gerou menos código malicioso do que o ChatGPT.
2 comentários
A licença parece ser a mesma do Llama. Se passar de 700 milhões de MAU, é preciso solicitar a licença.
Bom, para as empresas coreanas isso provavelmente não vai ser um grande problema haha
Foi lançado com a mesma licença do Llama 2.
Eu já achava que o StarCoder deixava um pouco a desejar, mas agora será que finalmente surgiu uma alternativa real ao Copilot?
De qualquer forma, quando penso nessas coisas, parece mesmo que o desempenho do GPT-4 é impressionante.
Ele também lida bem com coreano, e nos benchmarks o GPT-4 aparece com desempenho bem superior...
O GPT-3.5 também é muito superior em coreano em comparação com outros modelos abertos.
Espero que surja um modelo open source de geração de código que também funcione em coreano.