- Code Llama é um modelo de linguagem grande (LLM) de última geração projetado para programação, capaz de gerar código e linguagem natural sobre código a partir de prompts tanto em código quanto em linguagem natural.
- Ele foi construído sobre o Llama 2 e está disponível em três modelos: Code Llama (modelo-base para código), Code Llama - Python (especializado em Python) e Code Llama - Instruct (ajustado para compreender instruções em linguagem natural).
- O Code Llama é gratuito para uso em pesquisa e comercial e foi lançado sob a mesma licença comunitária do Llama 2.
- O modelo pode ser usado para completar código e depurar, com suporte a muitas linguagens populares, como Python, C++, Java, PHP, Typescript (Javascript), C#, Bash e outras.
- O Code Llama está disponível em três tamanhos, com 7B, 13B e 34B parâmetros, e cada um foi treinado com 500B tokens de código e dados relacionados a código.
- Esses modelos são oferecidos para atender a diferentes requisitos de serviço e latência; o modelo 34B entrega os melhores resultados, enquanto os modelos menores de 7B e 13B são mais adequados para tarefas que exigem rapidez e baixa latência.
- Os modelos Code Llama podem processar até 100.000 tokens de contexto, o que é útil para gerar programas mais longos e depurar bases de código maiores.
- Também foram ajustadas duas variantes adicionais: Code Llama - Python (especializado em 100B tokens de código Python) e Code Llama - Instruct (ajustado para gerar respostas úteis e seguras em linguagem natural).
- Em testes de benchmark, o Code Llama superou outros LLMs disponíveis publicamente em tarefas de código, registrando 53,7% no HumanEval e 56,2% no Mostly Basic Python Programming (MBPP).
- Foram adotadas medidas de segurança para mitigar riscos relacionados ao Code Llama, incluindo uma avaliação quantitativa do risco de gerar código malicioso.
- A receita de treinamento e os pesos do modelo do Code Llama podem ser consultados no repositório GitHub do Code Llama.
- O artigo de pesquisa do Code Llama traz detalhes sobre o desenvolvimento do modelo, suas limitações e os desafios futuros.
- Os desenvolvedores também atualizaram o Responsible Use Guide para incluir orientações sobre como desenvolver submodelos de forma responsável.
- O Code Llama foi projetado para apoiar engenheiros de software de todas as áreas e inspirar outras pessoas a usar o Llama 2 para criar novas ferramentas inovadoras para pesquisa e produtos comerciais.
1 comentários
Comentários no Hacker News