Pessoas que estão fazendo fine-tuning do Llama 2
(news.ycombinator.com)Este é um caso de fine-tuning do Llama 2 no Hacker News.
Fine-tuning é o ajuste adicional de um modelo de IA com um conjunto das minhas perguntas e respostas.
Dizem que é possível fazer fine-tuning com no mínimo 50 exemplos, mas que, se possível, é melhor ter mais de 1.000 exemplos.
O autor afirma que o modelo Llama 7B ajustado com fine-tuning é mais de 50 vezes mais barato que o GPT-3.5.
Claro, a comparação entre o Llama 7B e o GPT-3.5 (165B) não faz muito sentido, mas como no caso dos modelos GPT com fine-tuning o custo não é baixo, fico pensando se não veremos mais casos de uso de Llama com fine-tuning.
2 comentários
"You can run 70B LLAMA on dual 4090s/3090s with quantization. Going with dual 3090s you can get a system that can run LLAMA 2 70B with 12K context for < $2K.
I built two such a systems after burning that much in a week on ChatGPT."
https://news.ycombinator.com/item?id=37489601
Os comentários são impressionantes. Pelo comentário deixado depois, cada equipe gerenciava os dados em formatos diferentes, mas dizem que conseguiram padronizar os formatos dos dados em apenas uma semana usando o ChatGPT. Se combinar isso bem assim?!
Nossa, que ideia boa. Achei marcante até o CEO da Replicate aparecer para comentar.
Ficou na minha cabeça a opinião de que o custo do GPT-3.5 (provavelmente o turbo) e o do llama 70b seriam parecidos.
Eu pretendo usar GPT no trabalho, mas achei interessante ver que estão surgindo startups aproveitando vantagens com llama + fine-tuning, então trouxe isso aqui.