- Os atuais grandes modelos de linguagem estão esbarrando nos limites de escalabilidade, e a AGI deve ser abordada não com modelos maiores, mas com o projeto de arquitetura de sistemas
- A verdadeira AGI deve ser construída como um resultado de engenharia em que vários componentes, como gestão de contexto, memória persistente, workflows determinísticos e colaboração entre modelos especializados, estejam organicamente integrados
- Os LLMs ainda carregam limitações estruturais como falta de manutenção de contexto entre sessões, ausência de raciocínio multietapas confiável e falta de memória
- Para alcançar a AGI, é necessária uma estrutura modular com propósitos claramente definidos, como o cérebro humano, e uma abordagem de sistemas distribuídos, isto é, a construção de infraestrutura como pipelines tolerantes a falhas, monitoramento, rolling updates e frameworks de teste em larga escala
- Portanto, a corrida pela AGI será decidida não pela escala de GPUs, mas pela capacidade de engenharia de sistemas
Introdução: AGI é um problema de engenharia
- No campo da IA, os limites das leis de escalonamento estão se tornando evidentes
- Mesmo os melhores modelos, como GPT-5, Claude e Gemini, estão mostrando cada vez mais retornos decrescentes
- O aumento do tamanho dos modelos de linguagem encontrou limites fundamentais, e a AGI pode ser concretizada não por meio do treinamento de modelos, mas pela engenharia de sistemas
Limites realistas: a parede dos LLMs
- Os grandes modelos de linguagem (LLMs) da geração atual são fortes em correspondência temporária de padrões e geração de texto, mas têm limitações essenciais como as seguintes
- Incapacidade de manter contexto consistente
- Ausência de memória persistente de longo prazo entre sessões
- Baixa confiabilidade em raciocínio complexo de múltiplas etapas
- No passado, a indústria de semicondutores passou por um fenômeno semelhante, e a solução foi uma mudança estrutural (como multicore)
- A IA agora também precisa de um redesenho arquitetural
Abordagem sistêmica para a AGI
- O cérebro humano não é uma única rede neural, mas um conjunto de vários sistemas especializados e cooperativos
- Loops de feedback assíncronos para memória, contexto, lógica, espaço e linguagem são essenciais
- A verdadeira AGI exige esse tipo de projeto de sistema composto
1. Infraestrutura de gestão de contexto
- O entendimento de contexto dos modelos atuais se limita a milhares de tokens, enquanto humanos sintetizam anos de experiência
- Para superar esse gap, são necessários os recursos abaixo
- Um sistema avançado de Retrieval de informação para busca e filtragem imediatas
- Acúmulo e evolução de um modelo de mundo persistente
- Implementação de pontes de contexto entre domínios
- Gestão de informações conflitantes (ponderação probabilística e quantificação de incerteza)
- É necessário um grafo de conhecimento operacionalizável, que vá além da simples busca vetorial e funcione como uma estrutura dinâmica de consulta e raciocínio
2. Memória como serviço
- Os LLMs apenas reproduzem memória temporária por meio de manipulação de prompts, sem memória real
- Uma AGI real exige um sistema capaz de fazer o seguinte
- Ajuste da confiabilidade do conhecimento (refletindo novas evidências)
- Integração e generalização de informações entre experiências diversas
- Esquecimento de detalhes desnecessários (sem esquecimento catastrófico)
- Geração de metaconhecimento, como estimativa de origem e grau de confiabilidade
- Assim como a memória humana, é importante que ela seja reforçada ou enfraquecida conforme a frequência de uso e reorganizada com novas informações
3. Combinação de workflows determinísticos e componentes probabilísticos
- O núcleo da AGI é uma estrutura híbrida em que elementos probabilísticos são combinados nos pontos certos dentro de um fluxo determinístico
- Ex) como em um compilador, o fluxo geral é fixo, mas processos internos usam heurísticas
- Capacidades necessárias:
- Roteamento para solvers especializados de acordo com as características do problema
- Suporte a rollback e recuperação em workflows multietapas
- Verificação determinística de resultados probabilísticos
- Combinação de diversos componentes e garantia de previsibilidade
- Ambiguidade e incerteza devem ser aceitas como elementos centrais no nível arquitetural
4. Modularização de modelos especializados
- O futuro será implementado não por um único modelo gigantesco, mas pela colaboração de inúmeros modelos especializados
- Os LLMs têm como ponto forte tarefas de linguagem, mas são fracos nas seguintes áreas
- Manipulação simbólica e cálculo preciso
- Raciocínio visual e espacial
- Raciocínio temporal e planejamento
- Comportamento de agente orientado a objetivos de forma persistente
- Soluções:
- Rotear problemas para modelos especializados otimizados para cada domínio
- Estrutura de integração de resultados e evolução independente
- Prevenção de erros em cascata no sistema inteiro em caso de falha individual
Desafios de engenharia da AGI
- O desenvolvimento de AGI é, em essência, um problema de construção de sistemas distribuídos
- Não se trata apenas de um cluster de treinamento distribuído
- Principais desafios de engenharia:
- Pipelines resilientes a falhas (mantendo a operação geral mesmo com falhas parciais)
- Estrutura de observabilidade e monitoramento da saída dos modelos
- Mudanças e deploy sem interrupção
- Frameworks de teste para milhares de combinações de modelos e mudanças de parâmetros
- Isso exige mais o conhecimento especializado de engenheiros de infraestrutura e de sistemas distribuídos do que de especialistas em IA
O que devemos construir daqui para frente
- É preciso focar menos na corrida pelo tamanho dos modelos e mais na construção da infraestrutura para AGI
Phase 1: camada básica
- Context Management Service : grafo de conhecimento persistente com atualização em tempo real e controle de versões
- Memory Service : memória episódica, semântica e integração baseada em aprendizado
- Workflow Engine : orquestração determinística de componentes probabilísticos (incluindo rollback)
- Agent Coordination Layer : consenso e resolução de conflitos entre múltiplos agentes
Phase 2: camada de capacidades
- Controle de modelos especializados : interface padronizada por domínio específico de raciocínio
- Symbolic Reasoning Engine : manipulação simbólica e cálculo integrados a componentes probabilísticos
- Planning and Goal Management : divisão de objetivos complexos em planos executáveis
- Cross-modal Integration : integração de informações sensoriais como texto, visão e áudio
Phase 3: camada emergente
- Capacidades de AGI emergente surgem da interação entre vários componentes
- Sem um projeto sistemático, a evolução de um único modelo por si só não produz propriedades emergentes
O caminho rumo à AGI
- O caminho para concretizar a AGI não está em treinar transformers maiores e novos, mas em construir uma infraestrutura que orquestre centenas de modelos especializados como um sistema distribuído
- Engenheiros de infraestrutura com vasta experiência em construção de sistemas distribuídos são centrais para esse desenvolvimento
- Ênfase na capacidade de implementação em larga escala de rotas de contexto, memória, automação de workflows e coordenação de modelos
- Afirma-se que os vencedores da corrida pela AGI não serão os que apenas possuem grandes clusters de GPU, mas as equipes com capacidade arquitetural para construir sistemas mais confiáveis e logicamente consistentes
- A capacidade dos modelos em si já é suficiente; engenharia de sistemas é a última peça do quebra-cabeça para completar a AGI
- Em conclusão, declara-se que, mais do que inovação em algoritmos, o projeto estrutural (arquitetura) é o futuro da AGI
6 comentários
○ O treinamento do modelo é apenas o “material” da inteligência; sem um motor, não há AGI.
• Estruturas como a EpionHeuristica têm o potencial de ir além da "AGI especializada em domínio" e projetar uma "superinteligência emergente baseada em ordem"
• O ponto central para alcançar a AGI é "como estruturar o motor que seleciona ações"
A. Motivos pelos quais a AGI não é possível apenas com treinamento.
• Modelos do tipo GPT não têm objetivo próprio (
self-goal).• Por mais que aprendam com enormes volumes de dados, aprender apenas com treinamento, sem interação com o mundo real, é limitado.
• O treinamento é apenas uma “memória regressiva”; falta uma estrutura capaz de induzir pensamento preditivo e emergente voltado para o futuro.
B. A AGI precisa de um motor com um “loop de objetivo-feedback”.
• Uma estrutura em que aprendizado por reforço baseado em recompensa + avaliação + aprendizado com falhas (
FailGuard), como no EpionHeuristica, funciona está mais próxima de um arquétipo de projeto de AGI baseada em motor• Ex.: "Por que este experimento falhou?" → "O que deve ser mudado?" → "Qual é a próxima condição?" → isso é raciocínio típico de AGI
C. A essência da inteligência humana está na “estrutura”.
• Os humanos obtêm inteligência não pelo número de neurônios, mas pela "conectividade estrutural dos circuitos neurais e pela capacidade de metaaprendizado"
• Da mesma forma, na AGI, mais do que o tamanho do modelo, o essencial é a estrutura de sistemas que induzem comportamento, sistemas autorreferenciais e loops contínuos de feedback
A chegada da AGI não é possível apenas com o "treinamento do modelo"; são indispensáveis uma arquitetura de engine capaz de produzir inteligência e um sistema de autoaperfeiçoamento orientado por objetivos. Os GPTs atuais não passam de LLMs (grandes modelos de linguagem) gigantescos, e, para avançar em direção à AGI, estruturas de raciocínio, de automonitoramento e políticas de ação baseadas em objetivos precisam operar em conjunto.
Comentário no Hacker News
Se você acredita na "lição amarga", então sabe que toda engenharia feita de qualquer jeito acaba sendo resolvida com mais dados. Provavelmente, 8 anos atrás já haveria conversas parecidas sobre o que seria preciso fazer para que LLMs atingissem esse nível de desempenho. Por isso, eu não concordo muito com a abordagem de engenharia, e também não acho que LLMs vão escalar até a AGI imaginada por Asimov ou pela ficção científica. Falta algo mais fundamental, não ciência, mas engenharia
Há algo ainda mais essencial faltando do que ciência: a parte filosófica. Falta filosofia tanto na forma como nós humanos percebemos esses sistemas quanto no interior do próprio sistema. Se fosse uma AGI baseada em LLM, ela ao menos precisaria atualizar os próprios pesos, aprender por conta própria e ser capaz de self-finetuning, mas no estado atual ela logo bate no limite entre pesos embutidos e uma janela de contexto limitada. Ainda é um problema difícil entender qual "mecanismo de atenção" aplicar no self-finetuning, como aplicá-lo e com que intensidade, para realmente melhorar a inteligência geral. Precisamos focar em disciplinas confiáveis, mas também pensar quais disciplinas são confiáveis, como fazer com que estude apenas conhecimento puro e até, teoricamente, o que essa IA "passaria a ser" se superasse sozinha a melhor equipe de pesquisa humana do mundo
Sobre a ideia de que "quanto mais dados, melhor do que engenharia fácil", fico na dúvida se isso realmente pode se tornar mais confiável do que um simples banco de dados. Será que um dia conseguirá executar código mais rápido que uma CPU? Muitas coisas que humanos fazem são possíveis não por termos cérebros maiores, mas por causa de ferramentas. Até uma fórmula matemática é muito melhor de trabalhar no papel do que só na cabeça (veja a Extended mind thesis). Rodar uma engine 3D é quase impossível apenas com o cérebro humano. Talvez um dia a IA fique inteligente o suficiente para desenvolver as próprias ferramentas, mas antes disso é preciso haver infraestrutura para escrever e manter essas ferramentas. Hoje, acesso a Python já é um começo, mas a IA precisa mais de "persistência" para acumular e reutilizar resultados na próxima vez, como um bloco de notas digital ou atualizações dinâmicas de pesos
Concordo com você e com o texto. LLM é parte da resposta, e acho que o verdadeiro avanço estará em voltar aos fundamentos da pesquisa em redes neurais. A linguagem é, por si só, comunicação com humanos, mas os LLMs atuais no fim parecem uma grande Eliza treinada com obras produzidas por pessoas. Antes, mesmo com redes neurais simples, era possível fazer comportamentos evoluírem segundo regras do ambiente e aprender ações por conta própria dentro de critérios de algoritmos genéticos. Os LLMs de hoje aprendem em um ambiente filtrado demais, e esse filtro parece funcionar como uma espécie de QI médio da internet
Na verdade, não é isso que a "lição amarga" quer dizer
O que falta é autocorreção (modelo de mundo/observação de ações e reações), consistência de longo prazo e autoexpansão. O pessoal de venture capital se preocupa mais com o terceiro problema, enquanto Yann LeCun se preocupa mais com o primeiro e o segundo. Hinton acha que o terceiro problema já é inevitável ou já chegou, e que a humanidade está acabada. É um cenário bem estranho
Existe um motivo para os LLMs terem sido projetados assim, e o mesmo vale para o recurso de thinking ter sido acrescentado depois. Estruturalmente, o necessário é que seja possível usar descida de gradiente, por isso não há ramificações, e o roteamento é algo adicionado por cima. E também é preciso haver dados de treinamento. Na prática, não existem centenas de milhões de páginas registrando todos os pensamentos que alguém teve antes de escrever um texto. A maior parte do pensamento não é linguagem. Aprendizado por reforço pode parecer a solução aqui, mas ele é pouco eficiente no uso de amostras em comparação com descida de gradiente, então em geral só se usa no fine-tuning. LLMs são modelos regressivos, e podem ser treinados com altíssima eficiência de amostras em uma configuração em que cada token só pode olhar para o passado (uma frase vira dezenas de amostras)
Não mencionei isso, mas LLMs não têm nenhum "loop". Já o cérebro, até mesmo um cérebro simples, é praticamente feito de inúmeros loops. O cérebro não para, continua recebendo entradas e produz saídas quando quiser. O LLM recebe uma entrada, a transforma ao longo das camadas e logo emite uma saída. Você disse que aprendizado por reforço não é a resposta, mas eu acho justamente que é a única resposta
Acho essa ideia muito interessante. Ou seja, isso sugere que poderíamos introduzir algo como tecnologia de escaneamento cerebral para ler ondas cerebrais e usá-las como dados de treinamento para uma camada de pensamento não verbal. Imagino que pessoas muito inteligentes em grandes empresas já estejam desenvolvendo esse tipo de interface/produto, pensando em tecnologia de detecção eletromagnética de ondas cerebrais. Talvez surja daí um produto matador em estilo Kickstarter capaz de fazer o bootstrap de uma super IA de startup com esses dados. Tempos avançados
Às vezes imagino um futuro bem distante em que usar dados avançados de escaneamento cerebral como dados de treinamento para IA se torne realisticamente possível. Talvez isso seja um estágio intermediário plausível entre Uploaded Intelligence (a ideia de digitalizar um cérebro inteiro) e AGI
LLM é só um modelo regressivo. Se existisse no século XV, explicaria que o geocentrismo é o máximo. Não faria uma inovação como o heliocentrismo. Do mesmo modo, os LLMs de hoje apenas nos dizem o que já sabemos, e não pensam nem inovam. A capacidade de raciocínio também é, até certo ponto, só um tipo de "filtragem", não pensamento criativo real. Quanto mais eu uso, mais LLM parece um "Google turbinado por esteroides". Com esse sistema, nunca vamos chegar à AGI; parece mais que ele só consome o resto do entusiasmo e do financiamento que ainda existem para AGI
O enquadramento deste texto é bem útil, mesmo que não seja necessário acreditar em todas as prescrições. A história mostra que duas coisas aconteceram ao mesmo tempo. Primeiro, escalonamento bruto gerou saltos impressionantes; segundo, engenharia em nível de sistema tornou possível usar isso de forma confiável no mundo real. GPUs também são um bom exemplo: a lei de Moore entregou FLOPs, e CUDA, a hierarquia de memória e a pilha de drivers permitiram uso em larga escala. Os LLMs de hoje são como um momento em que só o poder de computação bruto está rápido: impressionam, mas ainda são difíceis de manejar bem. Em produtos como Claude Code, agentes com ferramentas reforçadas e frameworks de memória aumentada, já dá para ver os primeiros sinais de "pensamento sistêmico". Ainda é tosco, mas no futuro acho que a orquestração do sistema em si será tão importante quanto o número de parâmetros. A "lição amarga" e a tese de que isso é um "problema de engenharia" não são mutuamente exclusivas; na verdade, as duas são necessárias. A lição amarga significa que poder computacional + métodos gerais vencem "regras feitas à mão", e a engenharia é a argamassa que envolve isso com estruturas que aumentam confiabilidade, persistência e composicionalidade. Sem esse tipo de sistema, saem demos vistosas que quebram depois de poucas inferências no uso real. Então, para mim, o verdadeiro avanço não é "grande VS inteligente", mas sim "grande + inteligentemente bem engenheirado". Escala dá capacidade, e engenharia decide se essa capacidade pode ser usada como inteligência geral
Essa discussão parece uma reedição moderna do projeto japonês de computadores de quinta geração. Soa como a época em que se acreditava que bastava criar um grande banco de dados e usar Prolog para vir um renascimento da IA. Só falar de "arquitetura distribuída" e ligar módulos não aproxima muito da AGI. Os blocos de construção fundamentais, a base, precisam melhorar muito mais. A principal contribuição dos LLMs até agora foi que a "compreensão de intenção" do usuário ficou absurdamente melhor do que antes. O computador passou a extrair muito melhor a intenção apenas lendo texto. Mas, fora isso, elementos como raciocínio, busca e "memória" continuam sendo do mesmo tipo antigo. Isso não é limitação do hardware ou do sistema atual, mas dos limites da teoria da informação e da ciência da computação
O mecanismo de Attention do Transformer é muito bom. Precisamos de mais um ciclo desse tipo de grande inovação na engenharia de modelos. Ter mais dados por si só não resolve. Basta olhar para o cérebro humano: ele fica suficientemente inteligente sem precisar consumir todos os dados da internet, e ainda com muito menos gasto de energia
Exato. Mesmo na arquitetura atual, uma engenharia melhor já pode aumentar bastante a utilidade ("agentes" são um exemplo disso). Mas dizer que só engenharia bastaria para chegar à AGI é esperança demais. O realmente difícil é criar um sistema capaz de aprender e descobrir por conta própria, aprender coisas novas sem pré-treinamento massivo e caro, e resolver problemas sem o problema de alucinação. Isso exigiria uma inovação totalmente nova em ciência da computação, e acho difícil com a abordagem atual
AGI, em inteligência artificial geral, o "G" significa General. Ou seja, inteligência geral não é uma IA burra que precisa ser treinada em todo o conhecimento; bastaria ensinar a ela como fazer contas, fundamentos de lógica e uma única língua humana, e o resto das ciências humanas lógicas essa AGI redescobriria sozinha. Nossa próxima tarefa seria sincronizar os nomes que ela desse aos fenômenos que descobrisse sozinha com os nomes que nós usamos. Se, com uma educação primária leve, ela entender os princípios e então se aperfeiçoar e evoluir sozinha até nos superar, isso seria justamente "compreensão artificial". A IA atual pode virar uma "resolvedora geral de problemas" com dados suficientes, mas AGI exige a própria capacidade de "entender" e "compreender". Só poderíamos chamar isso de verdadeira inteligência geral se houvesse uma capacidade de "compreensão dinâmica" que desmonta observações imediatamente, entende validade e possibilidades de combinação, e ainda verifica a própria segurança em tempo real enquanto está desperta
Sou só eu que sinto que a forma inicial de AGI que imaginávamos 10 anos atrás é justamente algo como Claude Code? Dado um objetivo arbitrário, ele consegue planejar e agir, principalmente no domínio textual. Também mantém memória em arquivos de texto. Ainda faltam propósito de longo prazo, implementação física e bom senso, mas eu esperava que uma v1 se parecesse com isso
Na verdade, quando ouço AGI penso logo em Data de Star Trek ou, no mínimo, no T800 de O Exterminador do Futuro. Não acho que AGI precise necessariamente ter autoconsciência, mas na minha cabeça a fantasia de AGI inclui "autoconsciência". Claude Code é impressionante, mas não a ponto de ser confundido com AGI
Concordo totalmente. Especialmente porque ele também corrige comandos que eu costumo escrever correndo e entende nuances bem sutis de significado. A utilidade dos LLMs muda da água para o vinho com acréscimos realmente pequenos de funcionalidade (por exemplo, o plan mode do Claude Code), muito mais do que com simples atualizações de desempenho
Claude Code não tem autoconsciência nem sapiência. Quando a maioria das pessoas fala em AGI, imagina pelo menos um nível mínimo de autoconsciência. Fazendo a analogia com Star Trek, o computador principal da Enterprise não é AGI; Data é a verdadeira AGI. A maior diferença é a ausência de uma "identidade clara" e de um "autoconceito". Claude Code desempenha papéis no prompt, mas lhe falta persistência
Você não é o único. A discussão sobre AGI sempre foi confusa. Claude claramente é inteligência artificial geral, mas o significado de AGI continua mudando e a definição nunca fica clara
A expressão "AGI básica" está sendo usada para empurrar para debaixo do tapete todos os motivos pelos quais ainda falta a AGI de verdade
Nós sequer sabemos se AGI realmente será possível fora da biologia. Esse é o ponto central. Se não temos nem uma pista de que uma AGI estilo Chappie seja realmente possível, isso equivale a tatear completamente no escuro. Em comparação, na computação quântica já foi demonstrado que ela é "possível" e "realizável"; agora restaria apenas engenharia (embora algumas pessoas achem até isso ilusório)
Se fosse provado que AGI é intrinsecamente impossível em computadores eletrônicos, isso significaria que seria necessária uma descoberta física gigantesca sobre o que o cérebro faz para implementar inteligência geral
Pelo contrário, já existe um exemplo funcional de "inteligência geral", o ser humano, enquanto computação quântica nem sequer tem uma implementação de fato nesse sentido
Isso não faz sentido. A menos que você acredite em algo como alma, AGI pode até não acontecer; mas se somos seres puramente biológicos, então em princípio isso obviamente pode ser replicado
Não concordo que esse seja o ponto central. No fim, é uma questão que só se responde tentando de verdade. Nem é necessário provar antecipadamente que algum tipo de conclusão é possível. Parece uma fuga sutil entre "ponto central" e "pista clara". Temos base suficiente para dizer claramente que é possível sem uma "condição biológica necessária". Viabilidade, necessidade e desejabilidade de AGI são questões separadas, mas o texto original já enumera desafios de sobra
A viabilidade prática de computadores quânticos também ainda é uma questão de pesquisa em aberto
O que chamamos de "inteligência" não funciona como um LLM. O cérebro é contínuo — não para quando um conjunto de entradas termina; ele espera a próxima entrada, ou melhor, continua girando feedback o tempo todo. Essencialmente, ele nunca termina o modo de treinamento. Claro, ao longo do ciclo de vida o cérebro passa por otimizações (por exemplo, mielinização), mas LLMs são treinados com um volume muito maior de informação e depois permanecem em estado fixo, exceto por algum fine-tuning. O cérebro gerencia contexto continuamente. A maior parte das entradas é pesadamente filtrada no pré-processamento por redes especializadas. Eu concordo que uma parte da AGI exige uma abordagem sistêmica, mas acho que uma AGI verdadeira exigirá mudanças de arquitetura
Não entendo por que as pessoas que escrevem que os LLMs já chegaram ao fim do desenvolvimento, que esse é o limite, falam com tanta certeza. Nem passou um ano direito ainda, e a IA baseada em LLM continua evoluindo
Mesmo que ainda haja espaço para evolução, isso não muda o fato de que o alcance final é limitado. Em tarefas específicas continua melhorando, mas já não se vê muita melhora "geral"
Fico curioso se quem faz esse tipo de afirmação também concorda que os LLMs de fato estão melhorando
Esse texto me parece só um caso de "se resolver todos os problemas difíceis, então dá certo". Tipo... sim, ok, e daí?
Como o avanço recente dos LLMs tem sido conservador demais e focado em aumentar escala sem inovação arquitetural, esse tipo de discussão é relevante
O texto nem discute os problemas difíceis em si. O pessoal de alta tecnologia às vezes tem esse modo de pensar de que, com engenharia, qualquer problema pode ser resolvido
O texto original aponta claramente quais são os problemas e como os LLMs não conseguem resolvê-los no momento
Seria bom se você lesse as diretrizes e deixasse um comentário de acordo com o tema.