- "Less Is More for Alignment"
- Modelo LLaMA ajustado com fine-tuning usando apenas 1.000 prompts bem curados, sem aprendizado por reforço nem modelagem de preferências
- Em 43% dos casos, foi considerado equivalente ou preferível ao GPT-4; em comparação com o Bard, 58%; e 65% superior ao DaVinci003 treinado com feedback humano
- A hipótese do artigo é que quase todo o conhecimento dos LLMs é aprendido durante o pretraining, e que o alignment é um processo simples de aprender o formato/estilo de interação com o usuário
- Novo artigo da Meta AI
4 comentários
O projeto Sejong deveria ter continuado, acumulando em código aberto dados de modelos de linguagem em coreano. Um projeto realmente lamentável...
É uma pena que o desempenho em inglês esteja evoluindo tão rápido, mas a maioria dos modelos, exceto o GPT, ainda não lida bem com o coreano...
O aprendizado de coreano do Claude da Anthropic está em um nível bastante alto, mas ainda há alguns aspectos em que sua fluência difere da do ChatGPT.
T_T isso mesmo, em coreano tirando a API do GPT todo o resto é nível lixo...