Ajustando finamente sua própria Llama 2 para substituir o GPT-3.5/4

• No HN, o interesse em ajuste fino de LLMs open source tem aumentado bastante (ex.: post da Anyscale)
• Compartilhamento de anos de experiência e insights sobre ajuste fino de modelos, além de código prático
• Disponibilização de um conjunto de notebooks cobrindo rotulagem de dados, ajuste fino, execução eficiente de inferência e avaliação de custo/desempenho
• Treinamento de um modelo 7B que alcança 95% de correspondência com os rótulos do GPT-4 no conjunto de teste
• O que é ajuste fino? Uma forma de prompting mais poderosa do que escrever instruções em texto
• Treinamento de um modelo existente com pares de entrada/saída de exemplo para treinar modelos ajustados finamente
• Vantagens e desvantagens de prompting e ajuste fino
• Grande vantagem do ajuste fino: ele é muito mais eficaz para orientar o comportamento do modelo, permitindo que até modelos bem menores deem conta do recado
• Um modelo Llama 7B ajustado finamente é 50 vezes mais barato por token do que o GPT-3.5 e oferece resultados iguais ou melhores em muitos casos de uso
• Exemplo: classificar 2M de receitas com GPT-4 custaria US$ 23 mil, mas o modelo ajustado por nós apresenta desempenho semelhante ao GPT-4 e custa apenas US$ 19 para rodar em todo o conjunto de dados
• Desenvolvimento de um produto open source chamado OpenPipe
• O produto OpenPipe ajuda engenheiros a adotar ajuste fino da forma mais simples possível
• O post atual tem como objetivo compartilhar o que foi aprendido sobre ajuste fino

[GN⁺]

Comentários do Hacker News

• Artigo sobre o uso de ajuste fino de modelos Llama 2, como alternativa ao GPT-3.5/4
• Alguns usuários descobriram que, para tarefas de tradução, o GPT-3.5 é 100 vezes mais barato que o Llama 2, e o Llama 7B oferece traduções ruins
• Estratégia agressiva de preços da OpenAI para o GPT-3.5, especulada como uma forma de incentivar a dependência dos seus modelos em vez dos de outros fornecedores
• Discussão sobre a possibilidade de usar a saída do GPT e de outros LLMs para treinar modelos substitutos internos, o que pode ser uma solução econômica para quem usa APIs regulares em escala de produção
• Questionamentos sobre a alegação de que o modelo Llama 7B ajustado é 50 vezes mais barato que o GPT-3.5; alguns usuários sugerem que isso só pode ser alcançado com hospedagem própria
• Questionamentos sobre a eficácia do ajuste fino em comparação com adaptação de baixo posto
• Alguns usuários afirmam que a comparação entre o Llama ajustado e o GPT-3.5 é enganosa, citando problemas para alcançar latência de inferência adequada e escalabilidade
• A qualidade do modelo Llama 2 ajustado não é necessariamente superior à do ChatGPT; o ajuste fino exige um conjunto de dados de alta qualidade, que não é fácil de construir
• Questionamentos sobre a consistência e a taxa de erro do function calling do GPT
• Usuários querem saber qual é o melhor LLM open source para ajustar seus próprios modelos
• Pedido de esclarecimento sobre se o conjunto de dados de ajuste fino deve ser composto por pares de entrada/saída ou se pode ser autorregressivo
• Usuários têm interesse em materiais para aprender a ajustar esses modelos, especialmente voltados para iniciantes
• Este artigo é considerado um material valioso para quem está começando na área de ML/LLM.