Alpaca: um poderoso modelo open source de seguimento de instruções no nível do GPT-3.5

• No CRFM de Stanford, fizeram fine-tuning do LLaMA 7B da Meta com 52 mil dados de Instruction-Following
• Funciona de forma semelhante ao GPT-3.5 da OpenAI (text-davinci-003), mas é muito menor e mais barato
• Vão divulgar a receita de treinamento e os dados, e futuramente também pretendem lançar os pesos do modelo
• Disponibilizado apenas para fins de pesquisa, com uso comercial proibido
• O fine-tuning levou 3 horas em 8 A100 de 80GB, e pode ser feito na nuvem por menos de cerca de US$ 100

[xguru]

Repo: https://github.com/tatsu-lab/stanford_alpaca
Demo web: https://crfm.stanford.edu/alpaca/

A divulgação do LLaMA realmente está criando um momento Stable Diffusion. As coisas estão mudando muito rápido.