Por que não parece que a AGI vai chegar tão cedo

• O autor do texto não acredita que a AGI (inteligência artificial geral) surgirá em um futuro próximo
• Os LLMs (grandes modelos de linguagem) mostram capacidades impressionantes, mas carecem da habilidade de aprender continuamente e melhorar de forma gradual como os humanos
• Os LLMs atuais têm limitações para se adaptar por meio de feedback do usuário ou acumular contexto, o que é uma grande barreira para a automação real de trabalho de escritório
• Desafios práticos como uso de computador e dados multimodais devem avançar lentamente devido à escassez de dados, à longa duração das tarefas e à dificuldade técnica
• No longo prazo, espera-se que quando o aprendizado online se tornar possível ocorram mudanças muito abruptas, mas isso não parece fácil de se concretizar nos próximos 10 anos

---

Introdução e discussão sobre quando a AGI pode chegar

• O autor apresenta sua visão com base em experiências discutindo o momento de chegada da AGI com diversos especialistas
• Alguns preveem AGI em 2 anos, outros em 20, mas, em junho de 2025, o autor não acredita que a AGI esteja prestes a chegar

Limites do aprendizado contínuo (Continual Learning)

• Muitas pessoas defendem que a tecnologia atual de IA já é economicamente mais transformadora que a internet, mas o autor discorda
• O motivo de empresas da Fortune 500 não conseguirem usar LLMs para transformar radicalmente o trabalho não é o conservadorismo da gestão, e sim a falta de aprendizado contínuo na IA atual
• Ao construir e usar diretamente várias ferramentas baseadas em LLM, o autor concluiu que os LLMs entregam algo como 5/10 em tarefas repetitivas, mas não têm capacidade de melhoria gradual
• Humanos aumentam sua produtividade por meio de construção de contexto, análise das próprias falhas e pequenas melhorias aprendidas pela repetição, enquanto os LLMs não têm um canal para receber feedback de alto nível, e ajustar prompts não permite um “aprendizado” humano
• Existe fine-tuning com RL (RLHF), mas isso ainda está longe de um aprendizado adaptativo e orgânico como o humano, o que se torna uma limitação decisiva na automação do trabalho real
• Ainda faltam formas viáveis de fazer modelos de IA acumularem contexto rico, lembrarem dele e evoluírem durante o trabalho como funcionários humanos
• Dentro de uma sessão, algum aprendizado de contexto até acontece, mas todo o contexto aprendido se perde quando a sessão termina
• Soluções como memória de longo prazo (rolling context window) vêm sendo testadas, mas resumir conhecimento experiencial rico é frágil, e fora de domínios baseados em texto isso funciona de forma ainda menos eficiente
• Mesmo que o avanço da IA fique estagnado no nível atual, muitos trabalhos de escritório ainda serão difíceis de substituir com essa tecnologia, porque a capacidade humana de aprender contexto continua sendo uma vantagem competitiva
• Em outras palavras, só quando a tecnologia de aprendizado contínuo for implementada de fato o valor da IA deve disparar de forma descontínua; e, no limite, quando isso for possível, o compartilhamento de aprendizado entre múltiplas instâncias pode permitir que ela se torne superinteligente mais rápido que humanos
• No entanto, como os laboratórios têm forte incentivo para lançar versões imperfeitas antes de concluir totalmente uma inovação, o autor espera sinais prévios antes de um salto real no aprendizado contínuo

Dificuldades práticas no uso de computador e na automação

• Em conversas com pesquisadores da Anthropic, o autor ouviu previsões de que agentes confiáveis de uso de computador surgiriam até o fim de 2026, mas ele está cético
• Já existem agentes de uso de computador hoje, mas na prática sua eficiência ainda é baixa
• Para automatizar tarefas reais como declaração de impostos, é preciso lidar com múltiplos sistemas, executar agentes por longos períodos e processar diversos tipos de dados multimodais, o que torna o processo de treinamento e validação muito lento
• Diferentemente dos dados de pré-treinamento em texto já existentes (como grandes volumes de documentos da internet usados em modelos de linguagem), faltam datasets multimodais de uso de computador, o que deve alongar o desenvolvimento de agentes realmente confiáveis
• Mesmo algoritmos inovadores recém-propostos exigem anos de ajustes de engenharia antes de chegar ao uso real, então o avanço em tarefas de uso de computador tende a ser bastante lento

Sofisticação da capacidade de raciocínio e seus limites

• Modelos recentes como o Gemini 2.5 de fato mostram capacidade de raciocínio em aspectos como interpretação da intenção do falante, autoverificação lógica e resposta ao contexto
• Ferramentas como Claude Code conseguem gerar rapidamente código funcional apenas com uma especificação dada, o que sugere sinais iniciais de “inteligência geral” rudimentar em domínios amplos
• Nos domínios em que os modelos LLM de ponta mostram capacidade, eles às vezes entregam resultados bastante impressionantes

Previsões de curto e longo prazo para IA/AGI

• O autor enfatiza que mantém uma visão probabilística sobre suas previsões e, por isso, ainda considera válido preparar medidas de precaução
• Ele estaria disposto a apostar com 50% de probabilidade nos itens abaixo
  • Até 2028: existe a possibilidade de a IA chegar a um nível em que consiga conduzir de ponta a ponta todo o processo de declaração de impostos de pequenas empresas
    • A capacidade atual de uso de computador ainda está em um nível comparável ao GPT-2, e a escassez de dados, junto com horizontes longos de tarefa, torna a otimização difícil
    • Devem surgir demos impressionantes em 2026–2027, mas o autor acredita que ainda será difícil alcançar um nível de execução totalmente autônoma de tarefas complexas e prolongadas
  • Até 2032: pode chegar o momento em que a IA aprenda de forma natural e gradual durante o trabalho, como um humano, e após alguns meses de adaptação consiga internalizar contexto, preferências e know-how no mesmo nível de uma pessoa
    • Mesmo que a implementação de aprendizado online contínuo não pareça próxima agora, um avanço essencial ainda pode acontecer ao longo de 7 anos

Fatores limitantes do avanço da IA e perspectivas futuras

• O momento de realização da AGI tem uma distribuição probabilística muito ampla (log-normal), e o avanço da IA ao longo dos últimos 10 anos esteve intimamente ligado ao aumento da capacidade computacional de treinamento (training compute)
• Esse aumento de capacidade computacional deve atingir limites depois de 2030, fazendo com que a inovação algorítmica se torne o principal gargalo
• Sem uma mudança de paradigma realmente inovadora, a probabilidade anual de surgimento da AGI pode diminuir com o tempo
• Se a aposta no cenário “mais longo” estiver correta, o mundo cotidiano pode não mudar tanto até 2030–2040; por outro lado, se os limites atuais da IA forem superados, mudanças muito radicais poderão acontecer

[mirea0]

Acho que a AGI não se concretiza porque existem limitações físicas em termos de persistência e aprendizado
É literalmente por haver limitações físicas, não por falta de capacidade tecnológica
Se avançarmos um passo como AGI ao não impor essas limitações, depois será difícil voltar atrás, e como os desenvolvedores de IA também sabem disso, acho que eles apenas a desenvolvem de forma personalizada para serviços, sem tentar remover essas limitações

[iolothebard]

Concordo totalmente com você!

[GN⁺]

Opiniões do Hacker News

• “Acho que o ponto realmente importante é que os LLMs têm um problema fundamental: eles não melhoram gradualmente com o tempo como os humanos. O desempenho básico de um LLM pode ser superior ao do humano médio em várias tarefas, mas não existe um jeito de dar feedback de alto nível ao modelo, então ele não consegue melhorar além do estado em que sai da caixa. Vejo isso como uma limitação comum em redes neurais. Sistemas como o Driver da Waymo evitam esse problema. Por exemplo, quando ocorre um problema durante uma corrida, a Waymo roda várias simulações, transforma a situação problemática em diferentes variações e depois treina novamente o Driver com isso. O método exato não foi divulgado, mas já foi mencionado que essa estrutura é diferente de uma rede neural end-to-end. A Waymo tentou redes neurais end-to-end em projetos internos, mas como não ficaram melhores que o sistema atual, hoje usam outra coisa, e pouquíssimas pessoas sabem exatamente o quê.”
  • “Mesmo que os LLMs não evoluam gradualmente como os humanos, o importante é que dá para expandir suas capacidades usando ferramentas como Prolog. Acho que o próximo estágio da IA é permitir que os LLMs usem ferramentas e estratégias melhores. Por exemplo, vejo amadurecer uma arquitetura que integra regras lógicas, algoritmos heurísticos e agentes LLM ajustados finamente como ferramentas do próprio LLM. Também vale notar que a pressão econômica está acelerando especialmente o desenvolvimento de IA militar. Com sistemas em Prolog, o LLM pode adicionar fatos a um banco de dados, inferir novas relações e continuar aprendendo. Também dá para introduzir heurísticas que proponham novos modelos ou abordagens para exploração.”
  • “Pelo que eu sei, a Waymo usa um sistema criado por humanos combinando várias técnicas, como heurísticas, regras e redes neurais. Não é uma rede neural totalmente end-to-end. A expressão AIish cai bem: por projeto, está longe de AGI.”
  • “Acho curioso que quase ninguém faça a seguinte pergunta: a IA de ponta atual já não está tornando os humanos muito mais capazes? Uma aceleração geométrica de autoaperfeiçoamento me parece algo assustador. Mesmo que tudo dê certo, os humanos provavelmente não conseguirão mais manter o primeiro lugar na competição intelectual, e esse será um ponto de inflexão difícil de aceitar. Se realmente queremos autoaperfeiçoamento, precisamos nos acostumar com a ideia de que os próprios humanos podem se tornar obsoletos.”
  • “Se você quer entender os limites das redes neurais, vale ver a palestra recente do John Carmack. Link do YouTube. Perto dos 30 minutos ele trata diretamente desse problema.”
  • “A limitação da maior parte da IA é que ela é treinada com conjuntos de dados enormes, então leva muito tempo até que o próximo grande dataset fique pronto.”
• “Quem diz que a AGI (inteligência artificial geral) está para aparecer logo geralmente é 1. alguém tentando vender alguma coisa, 2. alguém encantado com a própria narrativa, 3. alguém empolgado por outros motivos, ou 4. muito provavelmente os três. Os LLMs, por projeto, são fortes em linguagem e razoáveis em resumir texto, mas fracos em lógica e muito fracos em raciocínio espacial. Por isso também não conectam bem conceitos. Se você perguntar a um LLM famoso qual é o problema em aberto mais difícil em qualquer área, ele até pode gerar um texto no estilo de revista científica, mas cheio de erros sutis e decisivos; a resposta parece plausível, mas na prática é lixo.”
  • “LLMs são apenas ferramentas que comprimem o dataset de treinamento e depois oferecem uma função de recuperação baseada em interação textual.”
  • “Acho que a palavra-chave é ‘não está claro’. Os LLMs são inteligentes no geral, então, pelos meus critérios, parece que já entramos na era da AGI, mas muita gente provavelmente enxerga AGI como ‘IA sobre-humana’. Por esse critério, ainda não chegamos lá e talvez não cheguemos tão cedo. Para mim, já estamos na era da AGI.”
  • “Os LLMs funcionam incrivelmente bem no mundo textual que nós criamos, mas não são entidades em busca da verdade. Seres vivos morrem por erros fatais; a IA, quando erra, só gera mais alguns milhares de tokens.”
  • “Concordo com a crítica de que os LLMs não buscam a verdade, mas isso também é comum nos humanos, então não me soa como uma crítica tão profunda. Pela definição original de AGI — realizar quase todas as tarefas acima do nível mediano humano — já estamos bem perto, e nos próximos 5 anos deve haver competitividade em nível especialista em trabalhos não físicos (para trabalhos físicos, imagino 5–10 anos). É verdade que os LLMs são fortes em linguagem, mas vejo isso como reflexo do próprio nível de inteligência. Também acho exagerada a ideia de que eles são fracos em pensamento espacial; eles já melhoraram muito em relação aos modelos antigos voltados a raciocínio espacial. Mesmo que ainda fiquem abaixo dos humanos, o simples fato de modelos recentes estarem sendo aplicados em robôs e funcionarem na prática já mostra um avanço acelerado pelos padrões da IA.”
  • “Minha definição de AGI é: se uma IA for melhor que pelo menos 5% dos profissionais de uma área em quase todo o trabalho daquela área, então considero que AGI foi alcançada. Acho que a capacidade intelectual de um humano no percentil 5 inferior ainda merece ser chamada de ‘inteligência’; então, se uma IA for melhor que uma parcela significativa da humanidade em todas as áreas, ela deve ser chamada de AGI. Tem que ser uma IA superior não em um domínio único, mas em todas as tarefas intelectuais.”
• “Só espero que a AGI não chegue tão cedo. Social e politicamente, não estamos nem um pouco preparados, e existe um risco real de o futuro da humanidade escorregar para uma distopia. E mesmo agora, se a IA tiver apenas uma pequena redução no consumo de energia e melhorias marginais, já se torna extremamente útil em vários campos — e nem isso a sociedade humana ainda está pronta para absorver totalmente. O problema é que poucas empresas que constroem modelos fundacionais têm uma forma clara de recuperar todo o dinheiro que já despejaram nisso; então parece que só restam duas opções: um grande avanço ou empurrar IA à força para muitos setores.”
  • “Penso igual e sinceramente espero que essa bolha estoure logo. Há notícias de que a Meta investiu US$ 100 bilhões em realidade aumentada; aquele cara no conselho parece continuar se lançando em desafios temerários em vez de simplesmente reduzir gasto com publicidade. Gente como o Altman também já escolheu um caminho sem volta e vai tentar tirar o máximo de dinheiro enquanto puder. Para todos nós, só resta torcer para que esse pessoal fracasse como na bolha das pontocom.”
  • “Como o volume de investimento em IA é tão grande, só a despesa de depreciação já pode ser maior que a soma da receita de todas as empresas de IA, e muita gente ignora como esses custos fixos serão recuperados.”
  • “Se uma única IA puder substituir quase toda uma indústria sem quase nenhum funcionário, então recuperar os custos será bem fácil. Pode virar um lucro enorme.”
  • “Se você realmente acha que a queda de natalidade é um problema gravíssimo, então a chegada próxima da AGI pode ser uma solução. Precisamos repensar o paradigma de resolver problemas econômicos assumindo crescimento populacional eterno.”
  • “A AGI precisa ser exatamente igual à inteligência humana? Se ela for melhor em algumas funções e pior em outras, ainda pode ser considerada AGI?”
• “Longe de achar que a AGI vai surgir logo, eu nem tenho certeza de que ela seja viável. Pelo menos em hardware computacional tradicional, acho difícil. A capacidade de repetir informação de forma bem apresentada não deveria definir nem medir inteligência. Se um dia implementarmos inteligência artificial de verdade, ela pode estrear com um nível de inteligência muito baixo pelos padrões humanos, mas ainda assim ser uma IA genuína, capaz de aprender sozinha sem ajuda externa.”
  • “A menos que você acredite que a inteligência geral humana depende de algum elemento sobrenatural e impossível de medir, acho que a tese de que AGI é impossível cai por terra. No fim, humanos também são máquinas, então o cérebro deve poder ser replicado de forma não biológica. Talvez a primeira AGI seja um cérebro cultivado em uma placa de Petri com uma API em Python, ou talvez seja baseada em silício.”
  • “Também precisamos pensar em outro aspecto. Se as ferramentas passarem a ter mais inteligência do que eu, como devo reagir? Online, já há casos em que um colega responde perguntas com chatgpt, e a própria pergunta também foi gerada por chatgpt; então estamos entrando numa situação em que ninguém mais sabe quem fez o quê.”
  • “Na minha visão, o limite da expansão da inteligência vem dos recursos computacionais. A quantidade de cálculo necessária para modelar bem um sistema cresce quase exponencialmente quanto mais complexo ou caótico ele for. Portanto, o efeito da inteligência só pode aparecer de forma essencial em sistemas simples e ordenados. A forma mais prática e robusta é eliminar o máximo possível de variáveis. No fim, seja superinteligência ou não, esse é o verdadeiro limite da inteligência.”
  • “Fiquei curioso para saber por que você acha que é impossível.”
  • “Não existe uma definição clara nem consenso sobre AGI. Acho que vamos continuar vendo apenas melhorias graduais nas áreas em que a IA já é boa, como geração de texto, imagem e código. A fantasia de que a IA resolverá todos os problemas de todos e levará a humanidade a uma prosperidade utópica na praia não tem nenhuma base na realidade.”
• “A perspectiva do Dwarkesh é impressionante. Sempre é interessante ouvir até onde ele acha que isso vai chegar. Segundo o argumento central dele, seria necessário aprendizado adaptativo, mas ainda não vemos sinais disso. Meu palpite é que os labs de fronteira esperam que contexto longo resolva o problema. Com um contexto longo de 10 milhões de tokens, seria possível manter bem o estado interno e lidar com várias tarefas, embora hoje exista a limitação de que, quanto mais longo o contexto do modelo, maior a variação de qualidade entre janelas. Reformulando a pergunta: em 2 anos, poderemos ter uma janela de contexto útil com mais de 10 milhões de tokens? Acho bem provável.”
  • “Teve uma empresa que afirmou ter resolvido esse problema, mas agora só se ouve silêncio.”
  • “No caso de ‘contexto longo’, continua a pergunta: quão longo precisa ser? No caso humano, o contexto inclui décadas de entradas multimodais.”
  • “Acredito no que o Demmis diz quando fala que a AGI chega em até 10 anos. Ele desbrava essa área há muito tempo, e até a OpenAI em parte surgiu por medo da velocidade de pesquisa do Demmis. Confio na previsão dele de que por volta de 2035 surgirá uma AGI igual ou superior aos humanos em quase todas as tarefas.”
  • “Tenho certeza de que em breve (<5 anos) vão introduzir aprendizado real em tempo de teste. O Alphaproof (desafio IMO da Deepmind) já aplicou essa técnica.”
• “Há estatísticas de que 54% dos adultos nos EUA têm nível de leitura equivalente à 6ª série ou menos. Às vezes penso: será que a AGI já não foi alcançada? Link da Wikipédia”
  • “Fico em dúvida sobre qual é a relação entre o fracasso educacional de um país e AGI.”
  • “Boa observação. Então também quero ver um LLM lavando roupa e lavando louça. Mesmo que ganhe um corpo robótico, não vai ser simples.”
  • “Isso me faz pensar: saber ler é toda a condição para AGI?”
  • “Do ponto de vista econômico, a comparação entre AGI e o trabalhador comum — por exemplo, gente alocada em tarefas específicas como copyediting — é mais realista. Em vez da média nacional, que tem baixa chance real de contratação, o foco deveria estar na adequação ao trabalho.”
  • “Mesmo pessoas analfabetas conseguem resolver desafios enormes que os LLMs não conseguem.”
• “Um problema nas discussões sobre o avanço da IA é a suposição de que a futura IA resolverá problemas do mesmo jeito que os humanos. Nesse caso, a ausência de aprendizado contínuo parece um defeito fatal. Na prática, porém, o aprendizado contínuo nunca teve papel dominante na história do deep learning; o método mais bem-sucedido sempre foi grandes datasets e escala. Para o argumento de que aprendizado contínuo é indispensável ser convincente, seria preciso mostrar concretamente os limites do aprendizado cruzado entre tarefas e quais áreas a IA jamais conseguiria alcançar. O autor menciona a incerteza do RL flywheel (o efeito de aceleração quando uma IA de programação excelente aplica RL repetidamente), e por isso o texto inteiro me soa confiante demais.”
  • “O Alphaproof usou, em cada problema, uma forma de treinamento em tempo de teste no estilo AlphaZero para gerar problemas semelhantes.”
  • “Talvez o aprendizado contínuo não tenha sido importante na história do deep learning porque os profissionais da área tinham outro objetivo. Se o alvo não é a IA mais inteligente, mas a mais útil e produtiva, então um sistema menos brilhante, mas que aprende com o fracasso, às vezes pode valer mais do que um gênio teimoso.”
• “Do meu ponto de vista, os LLMs atuais são estruturas que preveem o que um humano diria, então sua inteligência/capacidade de raciocínio também deve ficar no nível humano. Mesmo que superem os humanos na amplitude de conhecimento, talvez empatem ou percam em inteligência e criatividade. As empresas de IA preveem que a próxima geração de LLMs trará novos insights e resolverá problemas em aberto, mas acredito que insights reais exigem uma estrutura interna capaz de recriar livremente conceitos a partir de princípios mais básicos. Os LLMs têm limites porque não conseguem empilhar novas camadas de entendimento. Se houvesse uma arquitetura que, como o cérebro humano, construísse desde a entrada até a compreensão abstrata, talvez esses limites pudessem ser superados. Algum dia pode surgir um novo paradigma de IA que esmague os LLMs; sinceramente, torço para que eu esteja errado, ou talvez não, porque ASI (superinteligência artificial) é meio assustadora.”
  • “Mesmo que a IA alcance desempenho no nível humano, a máquina, ao contrário do humano, pode simplesmente ficar 10 vezes mais inteligente se você aumentar o desempenho da GPU. Só a velocidade já é uma capacidade sobre-humana; além disso, dá para rodar o mesmo sistema várias vezes, explorar abordagens diferentes em paralelo e escolher a melhor. Em tarefas verificáveis, isso é uma vantagem imensa.”
  • “Os LLMs atuais não são apenas preditores simples de frases humanas; eles estão evoluindo para prever tokens associados às respostas corretas em problemas de matemática e programação.”
• “A maior parte da discussão parece pessimista em relação à IA, mas o próprio autor mencionou uma probabilidade de 50% de alcançar AGI até o começo da década de 2030 e disse que também devemos nos preparar para a possibilidade de a ASI evoluir na direção errada até 2028. Ou seja, o autor é na verdade otimista em relação à IA.”
  • “Se a ASI der errado dentro de 3 anos, acho que qualquer preparação já será inútil.”
• “Acho que o fato de ninguém mais divulgar o tamanho dos modelos recentemente já pode ser lido como sinal de que o treinamento de modelos bateu no limite.”

[kandk]

Até agora, a mesma ladainha de novo.