Koala: modelo conversacional para pesquisa acadêmica (chatbot baseado em LLaMA)

• Modelo Koala-13B treinado com conjuntos de conversação e instruções sobre o LLaMA, de forma semelhante ao Alpaca
• Gera resultados preferidos ao Alpaca em diversas consultas e, em pelo menos mais da metade dos casos, pode produzir respostas idênticas às do ChatGPT
• Supervised Fine-Tuning com dados abertos de conversação coletados na web
  • 60 mil conversas do ShareGPT
  • 87 mil exemplos de perguntas e respostas do HC3
  • Open Instruction Generalist (OIG)
  • Dataset de 52 mil itens publicado pelo Stanford Alpaca
  • Anthropic HH (160 mil)
  • OpenAI WebGPT (20 mil)
  • OpenAI Summarization (93 mil)

[verilogeek]

É literalmente um zoológico de modelos..

[xguru]

LLaMA, Alpaca, Koala... os modelos de IA parecem um zoológico.