Introdução ao modelo Llama 3
- A Meta apresentou o modelo Llama 3. Estão disponíveis tanto as versões pré-treinadas quanto as ajustadas por instruções de 8B e 70B, dando suporte ao desenvolvimento de diversas aplicações.
- O Llama 3 está integrado ao Meta AI e pode ser usado em tarefas de programação e resolução de problemas. Com isso, é possível experimentar diretamente o desempenho do Llama 3.
- O Llama 3 deve oferecer os recursos e a flexibilidade necessários para o desenvolvimento de agentes e aplicações baseadas em IA.
Melhorias de desempenho do Llama 3
- O Llama 3 é um modelo de ponta com acesso aberto que apresenta excelente desempenho em tarefas complexas, como nuances da linguagem, compreensão de contexto, tradução e geração de diálogos.
- Com escalabilidade e desempenho aprimorados, o Llama 3 consegue lidar facilmente com tarefas em múltiplas etapas. O processo de pós-treinamento melhorado reduz significativamente a taxa de recusas indevidas, melhora o alinhamento das respostas e aumenta a diversidade das respostas do modelo.
- Além disso, melhora bastante capacidades como raciocínio, geração de código e execução de instruções. Com o Llama 3, é possível construir o futuro da IA.
Benchmarks do modelo Llama 3
- O modelo Llama 3 leva dados e escala a um novo patamar. Ele foi treinado com mais de 15 trilhões de tokens em dois clusters de 24K GPUs anunciados recentemente, um volume 7 vezes maior que o conjunto de dados de treinamento usado no Llama 2, com 4 vezes mais código.
- Como resultado, surgiu o modelo Llama de melhor desempenho até agora, com suporte a um comprimento de contexto de 8K, o dobro da capacidade do Llama 2.
Uma abordagem abrangente para o uso responsável do Llama 3
- Junto com o lançamento do Llama 3, o guia de uso responsável (RUG) foi atualizado para fornecer as informações mais abrangentes sobre desenvolvimento responsável com LLMs.
- Também houve atualizações nas ferramentas de confiança e segurança, incluindo Llama Guard 2, Code Shield e Cybersec Eval 2, otimizadas para dar suporte à nova taxonomia anunciada pelo MLCommons.
- De acordo com os princípios definidos no RUG, recomenda-se verificar e filtrar cuidadosamente todas as entradas e saídas do LLM com base em diretrizes de conteúdo próprias, adequadas ao caso de uso e ao público-alvo.
Opinião do GN⁺
- Além da melhora de desempenho do Llama 3, chama atenção o fato de que diretrizes para desenvolvimento responsável também tenham sido fornecidas. Quanto mais poderoso for um modelo de IA, mais importante será acompanhar isso com esforços para seu uso correto.
- No entanto, por se tratar de um projeto open source, não parece haver um meio de impor o cumprimento dessas diretrizes. Deve ser necessária a colaboração voluntária dos desenvolvedores.
- Espera-se que o Llama 3 apresente desempenho comparável aos modelos mais recentes da OpenAI, como o GPT-4, mas os resultados de benchmarks objetivos ainda não foram divulgados. Fica a curiosidade sobre seu desempenho real em diversas tarefas.
- Por ser um projeto open source, espera-se que diferentes organizações e desenvolvedores além da Meta apresentem projetos interessantes utilizando o Llama 3. Será uma oportunidade de verificar o potencial do Llama 3.
1 comentários
Opiniões do Hacker News
Há quem agradeça à Meta por adotar uma abordagem de código aberto e compartilhar pesos do modelo, tokenizer e informações sobre os dados de treinamento. Graças a essa abordagem aberta da Meta, passou a ser possível executar localmente modelos bastante bons em hardware de consumo.
Junto com o lançamento do Llama 3, a Meta anunciou que será possível testar a Meta AI multimodal nos óculos inteligentes Ray-Ban Meta. Foi apresentada a opinião de que as interfaces tradicionais de computador/smartphone desaparecerão, exceto por algumas aplicações de nicho, e que, em vez disso, cada pessoa terá seu próprio assistente de IA com o qual poderá interagir de forma tão natural quanto interage com outras pessoas.
Há quem diga que gostaria de ver modelos que se encaixem bem em GPUs de consumo com 24 GB, por exemplo, um modelo 20B quantizado em 8 bits ou um modelo 40B que possa ser quantizado em 4 bits. Também foi dito que é decepcionante que a Meta tenha parado de divulgar o modelo 30B desde o Llama 1.
O model card do Llama 3 inclui resultados de benchmark em comparação com outros modelos Llama. O ganho dramático de desempenho do Llama 3 em relação ao Llama 2 é impressionante, e dobrar a janela de contexto para 8k parece abrir muitas novas oportunidades.
Também foi compartilhada a informação de que Zuckerberg concedeu uma entrevista sobre o Llama 3.