Treinar diretamente o modelo O1 Preview por menos de US$ 450

• Sky-T1

• Treinando o modelo O1 Preview por US$ 450

  • Modelos como O1 e Gemini 2.0 demonstram excelente capacidade de raciocínio para resolver tarefas complexas, fazendo isso por meio de longos processos internos de pensamento.
  • No entanto, a falta de acesso aos detalhes técnicos e aos pesos do modelo cria uma barreira para a participação da academia e da comunidade open source.
  • Em resposta a isso, surgiram alguns esforços notáveis para treinar modelos de raciocínio com pesos abertos na área de matemática, como Still-2 e Journey.
  • A equipe NovaSky, da UC Berkeley, está explorando várias técnicas para avançar as capacidades de raciocínio de modelos base e ajustados por instrução.
  • Este estudo alcança desempenho competitivo de raciocínio não apenas em matemática, mas também em programação, no mesmo modelo.

• Contribuidores

  • Dacheng Li, Shiyi Cao, Shu Liu, Tyler Griggs, Simon Mo, Shishir G. Patil, Joseph E. Gonzalez, Ion Stoica