- O projeto de IA de próxima geração da OpenAI, GPT-5 (codinome Orion), está atrasado no cronograma e gerando custos enormes
- O GPT-5 tem como objetivo representar um grande avanço na tecnologia que tornou o ChatGPT possível, mas as chances de sucesso e o cronograma são incertos
- A Microsoft, principal investidora, esperava uma divulgação em meados de 2024, mas vários problemas surgiram nos testes internos da OpenAI
Situação do projeto e custos
- O GPT-5 já passou por dois treinamentos em larga escala, e cada um custou centenas de milhões de dólares
- Ele não está atingindo o desempenho esperado, e atualmente seu nível de performance é apenas um pouco melhor que o do GPT-4 existente
- O CEO da OpenAI, Sam Altman, enfatiza que o GPT-5 oferecerá avanços revolucionários
Dados de treinamento e problemas técnicos
- O treinamento de LLMs exige uma quantidade enorme de dados, mas atualmente há escassez de dados de alta qualidade suficientes na internet
- A OpenAI adotou métodos de geração direta de dados, como resolução de problemas de matemática e escrita de código de software
- Dados sintéticos (dados gerados por IA) também estão sendo usados, mas o próprio processo de geração desses dados traz risco de erros e resultados pouco razoáveis
Problemas internos e pressão competitiva
- Os conflitos internos na OpenAI e as tentativas de concorrentes de contratar seus talentos estão aumentando
- Mais de 24 pessoas importantes já deixaram a empresa, incluindo o cofundador Ilya Sutskever e a CTO Mira Murati
- Concorrentes como Anthropic e Google lançaram LLMs melhores, intensificando a disputa
Nova abordagem: modelos de raciocínio
- A OpenAI está desenvolvendo novos modelos de raciocínio para melhorar o desempenho dos LLMs
- Reconhecimento das limitações da abordagem tradicional de simplesmente ampliar os dados
- O modelo o1 gera várias respostas para uma única pergunta, analisa essas respostas e seleciona a melhor
- Ele consegue resolver problemas complexos, explicar o processo de resposta e aprender com isso
Trade-off entre custo e desempenho
- Modelos baseados em raciocínio melhoraram o desempenho em relação aos métodos existentes, mas trazem custos elevados
- Como é preciso gerar várias respostas para uma única pergunta, o custo computacional aumenta
- Pesquisadores estão tentando combinar modelos de raciocínio com a abordagem tradicional centrada em dados para criar a base do GPT-5
Desafios da indústria e escassez de dados
- O setor de IA enfrenta cada vez mais o problema da escassez de dados e seus limites
- Assim como na metáfora de que os dados são o "combustível fóssil da IA", está cada vez mais difícil garantir dados adicionais de alta qualidade
- Se o desenvolvimento do GPT-5 parar, também surge a possibilidade de estagnação na melhoria da IA
Conclusão
- A OpenAI está enfrentando dificuldades no projeto Orion por problemas técnicos, financeiros e de recursos humanos
- Há uma busca para que os novos modelos de raciocínio se tornem um novo caminho de ruptura no avanço da IA
- No entanto, o lançamento de um modelo que possa ser reconhecido como GPT-5 ainda permanece incerto
7 comentários
Assim como empresas petroquímicas refinam petróleo em gasolina, diesel etc.,
também poderia existir um modelo de negócio em que empresas de refinamento de dados peguem dados não refinados e os organizem bonitinho.
Tipo pegar os inúmeros arquivos Excel e PPT de procedimentos operacionais padrão acumulados dentro da empresa, refiná-los e usar isso no fine-tuning do GPT?
Parece um limite esperado
e também fico pensando que seria interessante mudar de direção para algo que reconheça a si mesmo e pense por conta própria
Sem um roadmap definido ou critérios claros, falar se o desenvolvimento está atrasado ou não provavelmente também é só mais um vazamento de informação com objetivo de marketing.
o1 não é baseado em MCTS nem em busca, mas sim um modelo que expandiu CoT com RL.
Gerar várias respostas -> aqui não é que várias respostas sejam geradas em paralelo e uma delas seja escolhida,
mas, como você mencionou, as respostas são geradas sequencialmente até que se considere, via CoT, que uma resposta foi alcançada, produzindo assim a melhor resposta..
Também fico pensando se isso não acabou sendo um erro de tradução no processo; não consegui verificar o texto original, então não sei..
De qualquer forma, parece que o jornalista entendeu como um método de gerar várias respostas e escolher uma delas.
Comentários do Hacker News
À medida que o custo de treinamento dos modelos aumenta, há o problema de o tempo necessário para treinar também crescer. Uma razão pela qual modelos menores podem inovar mais rápido é que seus ciclos de feedback são mais curtos
A explicação sobre o desenvolvimento do GPT-4 pela OpenAI não inspira confiança na matéria
Menciona-se que os LLMs chegaram a um limite em que não conseguem mais evoluir apenas com o aumento de dados e poder computacional. Novas ideias são necessárias, e há financiamento suficiente preparado para isso
O nível atual dos LLMs seria muito mais útil se pudesse fornecer indicadores conservadores de confiabilidade. É necessário oferecer saídas como "não sei" ou "não tenho certeza, mas..."
Mais importante do que o próximo lançamento da OpenAI é a indústria de software integrar essa tecnologia e concretizar seu valor
O que se pode inferir a partir de falas de pessoas de dentro é que eles querem uma melhoria de 10x com scaling e mudanças em dados e algoritmos. As fontes públicas de dados estão quase esgotadas, e as mudanças algorítmicas vêm gerando melhorias contínuas por meio da pesquisa
O GPT-5 não teve seu cronograma adiado; ele já foi lançado há meio ano como GPT-4o. Como não era revolucionário, não foi chamado de 5, e pode ter sido rebatizado no último momento
Menciona-se que o jornalismo de tecnologia é exagerado, e que, apesar de o o3 ter sido lançado, ainda assim continuam saindo matérias críticas
O o1-Pro é subjetivamente muito superior ao GPT-4, e o o3 é avaliado como ainda melhor. Isso sugere que a tecnologia está avançando rapidamente
O mundo está aprendendo como fazer essa tecnologia funcionar de forma adequada, e dizer que o cronograma foi adiado soa quase como comédia