Meta ensina como pensar com Chain-of-Thought

• Avanços dos LLMs para raciocínio System 2

  • Pesquisadores, incluindo Violet Xiang, propõem uma nova estrutura chamada Meta Chain-of-Thought (Meta-CoT)
  • O Meta-CoT expande o Chain-of-Thought (CoT) existente ao modelar explicitamente o raciocínio fundamental necessário para chegar a um determinado CoT
  • Apresenta evidências empíricas de comportamentos alinhados com busca em contexto nos modelos mais recentes e explora métodos de geração de Meta-CoT por meio de supervisão de processo, geração de dados sintéticos e algoritmos de busca

• Geração de Meta-CoT e pipeline de treinamento

  • Apresenta um pipeline de treinamento concreto para gerar Meta-CoT
  • Inclui como treinar o modelo por meio de ajuste por instrução com rastros de busca linearizados e aprendizado por reforço

• Questões em aberto da pesquisa

  • Discute várias questões de pesquisa, como leis de escala, o papel dos verificadores e a possibilidade de descobrir novos algoritmos de raciocínio
  • Este estudo fornece um roadmap teórico e prático para viabilizar Meta-CoT em LLMs, possibilitando um raciocínio em inteligência artificial mais poderoso e mais semelhante ao humano