Meta deve lançar versões menores do Llama 3 na próxima semana

• A maior versão do Llama 3 deve ser lançada neste verão, enquanto dois modelos menores devem ser lançados na próxima semana
• O lançamento dos modelos menores deve aumentar a expectativa em torno do Llama 3
• Espera-se que o Llama 3 tenha capacidade de responder a perguntas com base em imagens, como o GPT-4 da OpenAI
• A maior versão será um modelo multimodal capaz de entender e gerar tanto texto quanto imagens
• Em contrapartida, os dois modelos menores que serão lançados na próxima semana não serão multimodais

Vantagens e desvantagens conforme o tamanho do modelo

• Modelos menores geralmente custam menos para executar e são mais rápidos do que modelos maiores
• Isso vem sendo cada vez mais valorizado ao se considerar o custo de execução de modelos grandes
• Modelos menores também são úteis para desenvolvedores que querem criar software de IA para dispositivos móveis

Situação do desenvolvimento dos modelos Llama da Meta

• A Meta já havia lançado anteriormente três modelos do Llama 2
  • O maior modelo tem 70 bilhões de parâmetros
  • Os outros dois modelos têm 13 bilhões e 7 bilhões de parâmetros, respectivamente
• A maior versão do Llama 3 deve ter mais de 140 bilhões de parâmetros
• A Meta usa o Llama 2 para oferecer recursos de assistente de IA em seus próprios aplicativos
• Nos últimos meses, funcionários da divisão de IA generativa da Meta vêm trabalhando para tornar o Llama 3 mais aberto, após concluírem que o Llama 2 responde de forma conservadora demais a perguntas controversas

Opinião do GN⁺

• O lançamento da versão menor do Llama 3 pela Meta Platforms mostra que a competição no campo dos modelos de linguagem de IA está ficando mais intensa. Em um cenário em que grandes players como o Google e a xAI de Elon Musk já estão lançando modelos de código aberto, esse movimento da Meta pode ser interpretado como uma estratégia para garantir participação de mercado e manter a liderança tecnológica.
• O lançamento de versões menores pode ser uma estratégia de marketing para oferecer novas ferramentas a desenvolvedores e pesquisadores e, com isso, aumentar o interesse e a expectativa em relação à versão maior do modelo. Isso dá aos usuários a oportunidade de experimentar e se familiarizar com modelos menores antes de usar de fato o modelo maior.
• O lançamento de grandes modelos de linguagem é tecnicamente muito complexo, e treinar e manter esses modelos de forma eficaz exige recursos computacionais significativos e conhecimento especializado. Embora a Meta disponha desses recursos, questões como o uso ético do modelo e problemas de viés continuam sendo considerações importantes.
• Ainda não está claro como o modelo Llama 3 da Meta vai se diferenciar de outros modelos de código aberto, nem quais novos recursos ou inovações ele poderá oferecer. Isso pode se tornar um tema interessante de debate dentro da comunidade técnica.
• O lançamento de modelos de código aberto promove a democratização da tecnologia e possibilita mais inovação. No entanto, à medida que a influência desses modelos cresce, também aumentam as preocupações com a disseminação de desinformação, violação de direitos autorais e questões de privacidade.