- Apesar da expectativa em torno do GPT-5, a decepção da comunidade aumentou significativamente após seu lançamento real
- O GPT-5 não mostra diferença substancial em relação aos modelos anteriores e, em alguns benchmarks, até houve piora de desempenho
- Pesquisas recentes confirmaram que os limites de generalização e o problema de mudança de distribuição dos grandes modelos de linguagem (LLM) ainda são graves
- A perda de liderança tecnológica da OpenAI, a saída de profissionais-chave e a perseguição de concorrentes tornam opaca a manutenção do valor corporativo
- O aumento do ceticismo sobre as promessas de realização de AGI ampliou a percepção, em toda a indústria, de que a abordagem de ‘escalonamento puro’ tem limites
O lançamento e as expectativas do GPT-5
- A liberação do GPT-5, anunciada pela OpenAI por muito tempo, enfim aconteceu
- Sam Altman, CEO, utilizou ativamente um discurso confiante e uma imagem de marketing antes e depois do lançamento
- No entanto, após o lançamento do GPT-5, além de alguns influenciadores, a decepção predominou na maioria das comunidades
- Os usuários ficaram bastante decepcionados com o novo modelo, e até ocorreu a aprovação de um abaixo-assinado pedindo o retorno da versão antiga
- Diferentemente do marketing e das afirmações de Altman, o retorno real de uso inclinou-se de forma acentuada para avaliações negativas
Reação da comunidade e da mídia
- Em comunidades como OpenAI Reddit, Hacker News e várias outras, destacaram-se os problemas do GPT-5, como erros, alucinação (hallucination)
- Em benchmarks de desempenho principais, o GPT-5 também chegou a ficar abaixo de modelos concorrentes como o Grok 4
- Recursos novos, como roteamento automático, também revelaram confusão e execução insuficiente
- Em um cenário no qual as expectativas da comunidade cresceram rapidamente, o GPT-5 acabou deixando uma grande decepção
- Na enquete da Polymarket no dia do lançamento, a confiança na liderança de IA da OpenAI caiu de 75% para 14% em 1 hora
Limites estruturais: xadrez, compreensão visual, raciocínio
- O problema de erros de raciocínio básicos e de não cumprir regras de xadrez, apontado pelo autor e por vários especialistas, ainda persiste
- Em áreas como geração de imagem, surgem limitações claras em relação parte-todo, consistência visual etc.
- O GPT-5 comete erros em questões em que nem um doutor em engenharia mecânica nem um leigo costuma errar
- Foram relatados muitos casos de erro também em tarefas básicas como resumo e leitura/compreensão
- O GPT-5 é um modelo de melhora progressiva, mas não há melhora marcante em termos de inovação em comparação com o ano passado
A situação atual e as perspectivas da OpenAI
- O GPT-5 ficou apenas no nível de melhoria progressiva em relação aos modelos anteriores, e suas falhas críticas se repetiram
- A confiança na liderança tecnológica da OpenAI vem caindo no mercado e na indústria
- Vários profissionais-chave saíram para fundar concorrentes ou se transferiram, enquanto Anthropic, Google, Elon Musk avançam rapidamente
- Pressão por redução de preços, problemas de lucratividade e deterioração da relação com a Microsoft ampliam os riscos estruturais
- A descrença na possibilidade de AGI baseada em LLM e a queda de confiança em Sam Altman se aprofundaram
Limites fundamentais dos LLM: generalização e mudança de distribuição
- Em estudo recente da Arizona State University, foi confirmado que até o raciocínio de Chain of Thought desaba ao sair da distribuição de treinamento
- A estrutura vulnerável à mudança de distribuição (distribution shift), já apontada por Apple e outros concorrentes, foi novamente encontrada de forma idêntica em modelos mais recentes
- Isso mostra que a causa raiz para os LLMs encontrarem repetidamente limites qualitativos é que não se consegue superá-la apenas com grande escala de parâmetros
- Mostra que a estratégia de escalonamento, na qual foram investidos bilhões de dólares, falhou em resolver problemas essenciais
- Se espalha a percepção de que é preciso procurar um novo paradigma
Os limites de ‘escalonamento’ na indústria de IA
- Há marketing inflado em torno de AGI, automação de direção e cronogramas fantasiosos
- Benchmarks com desempenho distorcido, avaliação em caixa-preta e falta de transparência permanecem graves
- Muitas pessoas começaram a reconhecer o termo AGI como um meio de encantar investidores e o público
- O otimismo em relação à IA e a cobrança também aumentam ao mesmo tempo
- A realidade é que a abordagem de escalonamento puro colidiu com um beco sem saída
Alternativas e conclusão
- O GPT-5 pode ter ficado mais barato, mas os limites qualitativos em xadrez, raciocínio, capacidades visuais e matemáticas permanecem
- Modelos concorrentes como Grok, Claude e Gemini também repetem problemas semelhantes
- O problema de mudança de distribuição (distribution shift) permanece sem solução
- Passa a ganhar força a tese de que é necessária uma nova abordagem, como IA neuro-simbólica (neurosymbolic AI) e métodos baseados em world models
- Reforça-se que a inovação algorítmica combinada é indispensável para realizar AGI, e não o escalonamento puro
Próximos temas e PS anunciados
- Além das limitações de LLMs encontradas nesta semana, isso sugere que outra questão científica grave será revelada
- Anuncia-se no próximo post a troca de informações sobre conteúdo separado
Resumo
- Foram amplamente discutidos as expectativas e reações da indústria e da comunidade antes e depois do lançamento do GPT-5, os limites estruturais dos LLM, o futuro da OpenAI e a realidade do enquadramento de AGI
- Todo o conteúdo oferece sinais importantes para profissionais de startups e de TI sobre LLM, limites reais do GPT-5, investimento/expectativa/frustração com IA, questões de inovação, tendências de pesquisa
Ainda não há comentários.