Andrej Karpathy – AGI ainda está a 10 anos de distância

• Andrej Karpathy argumenta que não será o “ano dos agentes”, mas a “década dos agentes”, rebatendo previsões excessivas da indústria de IA e projetando que serão necessários cerca de 10 anos de melhorias graduais
• Os LLMs atuais ainda carecem de funções cognitivas centrais, como aprendizado contínuo, capacidades multimodais e uso de computadores, e estima-se que resolver esses problemas leve cerca de 10 anos
• Ao contrário do hardware embutido concedido pela evolução aos animais, os LLMs são uma espécie de “entidade com alma” criada pela imitação de dados da internet; trata-se de um tipo diferente de inteligência, e comparações diretas com animais são inadequadas
• RL (aprendizado por reforço) é bastante ineficiente, mas métodos alternativos também ainda não amadureceram o suficiente. Devido aos problemas de colapso do modelo e esquecimento nos LLMs, há limites para absorver ou desenvolver conhecimento continuamente de forma natural, como o cérebro humano
• Pré-treinamento é uma “evolução ruim”, um processo que comprime drasticamente 15 trilhões de tokens em dezenas de bilhões de parâmetros, deixando apenas uma memória vaga dos documentos da internet
• A AGI acabará sendo incluída na trajetória normal de crescimento de 2% do PIB, devendo ser vista como uma expansão gradual da computação, sem esperar um salto descontínuo (incluindo o debate sobre superinteligência)

---

Momento de chegada da AGI e velocidade do avanço da IA

• Andrej Karpathy enfatiza que “a era dos agentes de IA não é algo deste ano, mas um processo na escala de 10 anos”.
• Hoje, vários agentes de IA como Claude e Codex já são usados de forma útil, mas ainda têm limitações em aprendizado contínuo, processamento multimodal e uso complexo do computador
• Para que a AGI funcione de fato como um funcionário humano ou estagiário, será preciso resolver desafios como melhoria da inteligência, memória persistente e aquisição de múltiplas capacidades
• Sobre as previsões de avanço da indústria de IA, Karpathy estima, com base em mais de 15 anos de experiência na área, que os problemas difíceis podem ser superados, mas são bastante complexos, então devem exigir algo em torno de 10 anos

Mudanças de direção nas pesquisas iniciais de IA

• Antes do AlexNet, deep learning era um tema de nicho, mas em 2012 o AlexNet provocou a primeira grande virada de percepção ao redirecionar todo o campo para o treinamento de redes neurais
• Por volta de 2013, deep reinforcement learning em Atari seguia a direção errada, e a abordagem inicial da OpenAI centrada em jogos também foi um erro
  • Havia ceticismo quanto à ideia de que jogos levariam à AGI, e avaliava-se que era necessária interação com o mundo real
  • O projeto Universe da OpenAI chegou cedo demais, e as recompensas eram raras demais para permitir aprendizado
• Agentes sobre LLMs são o caminho correto: primeiro é preciso obter capacidade de representação e só depois construir agentes
  • A abordagem atual de treinar agentes de uso de computador sobre grandes modelos de linguagem faz sentido
  • É necessário obter representação primeiro, por meio de pré-treinamento e do trabalho com LLMs, para então viabilizar tarefas de agentes
• Em termos gerais, a área de IA evoluiu no fluxo perceptron/redes neurais → agentes (RL) → LLMs/reforço do aprendizado de representação

Diferença entre aprendizado humano e evolução animal

• Animais (por exemplo, zebras) têm comportamentos complexos incorporados geneticamente pela evolução; a pesquisa em IA não imita o processo evolutivo real e usa principalmente aprendizado por imitação a partir de materiais da internet (pré-treinamento)
• Os LLMs atuais são estruturalmente diferentes de organismos moldados pela evolução. Nos seres vivos, o hardware (rede neural) nasce com o organismo; a IA é descrita como algo mais próximo de um “fantasma” em software
• A semelhança entre o cérebro humano e a IA deve ser usada apenas como referência limitada, e uma abordagem centrada no objetivo prático (utilidade) é mais realista

Aprendizado em contexto vs. pré-treinamento

• O pré-treinamento é o resultado da compressão de uma quantidade imensa de informação da internet, e o conhecimento que o modelo guarda é vago e parcial
  • As informações relevantes para uma pergunta real são usadas de forma mais direta dentro da janela de contexto, como uma “memória de trabalho”
• Aprendizado em contexto é uma forma de memória de trabalho, e pré-treinamento é uma forma vaga de memória de longo prazo
  • Tudo no cache KV é memória de trabalho diretamente acessível pela rede neural
  • Tudo nos pesos é uma lembrança vaga de algo lido há um ano
• Há a possibilidade de o aprendizado em contexto implementar internamente a descida de gradiente
  • Em pesquisas sobre regressão linear, encontrou-se semelhança entre os pesos da rede neural e mecanismos de descida de gradiente
  • Ao aprender a completar padrões, pequenos circuitos e algoritmos são inicializados dentro da rede neural
• 0,07 bit por token no pré-treinamento vs. 320 kilobytes por token no aprendizado em contexto
  • O aprendizado em contexto assimila 35 milhões de vezes mais informação por token
  • A diferença dramática na taxa de compressão reflete uma diferença fundamental no modo de aprendizado

Diferenças cognitivas entre humanos e LLMs

• Ausência de regiões cerebrais como hipocampo e amígdala
  • O transformer corresponderia à organização cortical, com capacidades de raciocínio semelhantes às do córtex pré-frontal
  • Regiões cerebrais essenciais, como o hipocampo (memória) e a amígdala (emoção), não são reproduzidas
• Falta de um mecanismo de aprendizado contínuo
  • Nos humanos, as informações contextuais do dia (janela de contexto) passam por um processo de destilação para os pesos internos, por meio de processos como o sono
  • Os LLMs reiniciam com 0 tokens a cada sessão e não têm etapa de destilação. Ou seja, não possuem um mecanismo equivalente de memória de longo prazo/aprendizado contínuo
• Aprendizado por reforço é “terrível”
  • Todos os tokens de um rollout que obteve a resposta correta recebem reforço positivo, apesar do ruído
  • É um método que “suga supervisão por um canudo”, avaliando toda a trajetória apenas com base na recompensa final
  • Humanos avaliam cada parte por meio de processos complexos de revisão, mas os LLMs não têm equivalente disso

Limites da supervisão baseada em processo

• Possibilidade de explorar juízes LLM
  • Ao usar LLMs para atribuir recompensas, é praticamente garantido que surjam exemplos adversariais
  • Houve casos em que saídas sem sentido como “dhdhdhdh” obtiveram 100% da recompensa
• Fragilidade na generalização fora da amostra
  • Para entradas nunca vistas no treinamento, juízes LLM podem atribuir pontuações extremas
  • É possível melhorar com treinamento iterativo, mas existem infinitos exemplos adversariais em um espaço de 1 trilhão de parâmetros
• Necessidade de dados sintéticos e revisão
  • Estão sendo tentadas abordagens de meta-aprendizado com revisão de respostas e geração de exemplos sintéticos
  • Ainda não há, no nível dos laboratórios de fronteira em LLM, um método convincente que funcione com generalidade completa

Aprendizado humano vs. aprendizado dos LLMs

• Humanos quase não usam aprendizado por reforço
  • A maior parte do aprendizado por reforço humano está em tarefas motoras, como arremessar uma bola de basquete
  • Em tarefas intelectuais, como resolução de problemas, não se usa RL
• Ler livros é um prompt para geração de dados sintéticos
  • Humanos leem livros, manipulam informações e assim adquirem conhecimento
  • LLMs apenas desenrolam sequências de texto e aprendem prevendo o próximo token
• Problema de colapso do modelo
  • Amostras de LLM podem parecer razoáveis individualmente, mas a distribuição colapsa silenciosamente
  • O ChatGPT repete apenas 3 piadas (sem a largura total do conjunto de piadas possíveis)
  • Humanos também colapsam com o tempo, mas crianças que ainda não sofreram overfitting podem fazer comentários chocantes

Equilíbrio entre memorização e generalização

• LLMs são extremamente bons em memorização
  • Mesmo sequências totalmente aleatórias podem ser recitadas integralmente após uma ou duas repetições
  • Humanos não conseguem recitar sequências aleatórias de números
• Capacidade de memorização não é bug, é feature
  • Humanos são forçados a aprender apenas componentes que generalizam
  • LLMs se dispersam por causa das memórias dos documentos de pré-treinamento
• É necessário remover o conhecimento do núcleo cognitivo
  • Supõe-se um núcleo cognitivo de cerca de 1 bilhão de parâmetros
  • Remover o conhecimento e manter apenas algoritmos e estratégias
  • Isso pode ser resolvido com refinamento do conjunto de pré-treinamento e destilação para modelos menores

Próximas direções de melhoria e perspectiva técnica

• Nos próximos 10 anos, projeta-se que todas as áreas terão de avançar ao mesmo tempo — arquitetura, otimização (optimizer), função de perda, dados, software e hardware — para que surjam resultados significativos
• A estrutura Transformer e a abordagem de deep learning atuais devem continuar em parte, mas com sparse attention, maior poder computacional e dados em larga escala
• A percepção é de que, até agora, o importante não foi um único fator específico, mas sim a melhora conjunta de várias partes

Falhas cognitivas dos LLMs e uso de ferramentas de programação

• Embora LLMs sejam muito usados como apoio à programação, eles ainda têm muitas limitações em escrita intensiva de código que exige design e abordagem próprios
• Em geral, misturam-se três modos: (1) escrita totalmente manual, (2) uso de autocompletar e (3) modo “agente”
• Quanto mais repetitivo for o código-base e quanto mais bons exemplos existirem, melhor o LLM se encaixa; porém, em código original e estruturalmente importante, aparecem com destaque problemas como insistência em estilos já existentes, aumento de complexidade desnecessária e interpretação errada de convenções
• Em um exemplo real, mesmo sem querer usar contêineres PyTorch DDP, o LLM continuou recomendando isso, atrapalhando a manutenção do estilo de código e da forma de implementação desejada

Experiência de desenvolvimento do nanochat

• LLMs são inadequados para codebases peculiares
  • Só são úteis para código boilerplate e coisas que aparecem com frequência na internet
  • O nanochat exige alta densidade intelectual e arranjos precisos, então os modelos continuam entendendo errado
• Autocompletar é a forma ideal de uso
  • Vibe coding só funciona em configurações específicas
  • O autocompletar oferece alta largura de banda de informação já com as primeiras letras
• Útil para aprender linguagens novas como Rust
  • Se você tiver uma implementação de referência em Python e testes, dá para fazer vibe coding com segurança
  • Melhora a acessibilidade a linguagens ou paradigmas menos familiares

A realidade da automação na engenharia de IA

• Os modelos atuais não bastam para automatizar pesquisa em IA
  • Como programação é baseada em texto, foi o primeiro encaixe perfeito para LLMs
  • Não são muito bons para código que nunca foi escrito antes
• A lacuna entre demo e produto
  • Existem demos de direção autônoma desde os anos 1980, mas transformar isso em produto levou muito tempo
  • A "marcha dos noves" — cada 9 representa uma certa quantidade de trabalho; de 90% até 99,999% é preciso melhoria contínua
• A explosão de inteligência não vai aparecer na curva do PIB
  • Tecnologias transformadoras como o computador e o iPhone também não podem ser encontradas no PIB
  • Tudo se espalha demais e se difunde devagar, então acaba sendo nivelado na mesma média exponencial de 2%

As lições da direção autônoma

• A direção autônoma ainda não terminou
  • Até a Waymo tem pouquíssimos veículos e uma operação antieconômica
  • Há humanos no loop em centros de teleoperação
• Pontos em comum entre domínios críticos para segurança
  • Na engenharia de software também há alto custo para erros (como vulnerabilidades de segurança)
  • É necessária uma "marcha dos noves" parecida com a da direção autônoma
• A abordagem escalável da Tesla
  • A Waymo começou cedo com muitos sensores
  • A Tesla tem vantagem no longo prazo com uma estratégia mais escalável

Comparação entre direção autônoma e IA para trabalho do conhecimento

• O domínio dos bits é um milhão de vezes mais fácil que o mundo físico
  • Bits podem ser alterados e rearranjados rapidamente
  • Espera-se que a adaptação da indústria seja muito mais rápida
• Diferença de gasto de capital
  • Na direção autônoma, cada cópia exige um carro totalmente novo
  • Modelos de IA podem fornecer instâncias adicionais só com custo de inferência
• A complexidade da aceitação social
  • É preciso resolver os aspectos legais, de seguro e regulatórios
  • Vai existir na IA um equivalente às pessoas que colocam cones em carros da Waymo

A visão da Eureka Labs

• Construir uma Starfleet Academy
  • Uma instituição educacional de elite para tecnologias de fronteira
  • Oferecer conhecimento sobre as tecnologias mais recentes, incluindo IA
• Depois da AGI, educação será diversão
  • Antes da AGI: educação útil para ganhar dinheiro
  • Depois da AGI: educação recreativa, como ir à academia ou à escola por prazer
• À espera do tutor de IA perfeito
  • A experiência com um tutor particular de coreano definiu o padrão
  • Entender o nível de compreensão do aluno, oferecer o desafio adequado e transmitir informação perfeitamente
  • Isso é impossível com as capacidades atuais, mas será possível no futuro

Princípios de design de materiais educacionais

• Mentalidade de física
  • Entender sistemas em termos de termos de primeira, segunda e terceira ordem
  • Criar modelos e abstrações
  • O valor da hipótese da "vaca esférica"
• Apresentar a dor antes da solução
  • Dar ao aluno a chance de tentar primeiro
  • Motivar com prompts antes de entregar a solução
• O exemplo do micrograd
  • Mostra o essencial da retropropagação em 100 linhas
  • Todo o resto é apenas eficiência
  • É tudo aplicação recursiva da regra da cadeia

Estratégias eficazes de aprendizagem

• Priorizar profundidade e aprender conforme a necessidade
  • Aprender enquanto recebe recompensa por meio de um projeto específico
  • Alternar com aprendizagem em largura (estilo escola)
• Explicar para outras pessoas
  • Força você a descobrir e preencher lacunas de compreensão
  • Manipular o conhecimento leva a uma compreensão profunda
• Conversa no almoço > artigo acadêmico
  • Três frases ouvidas enquanto se toma uma cerveja numa conferência são mais claras do que um artigo

> Eu gosto de reexplicar alguma coisa, e outras pessoas também deveriam fazer isso. Porque aí você precisa manipular o conhecimento e ter certeza de que entende exatamente do que está falando quando explica.

---

# [Roteiro completo]

00:00:00 – A AGI ainda está a pelo menos 10 anos de distância

Dwarkesh Patel 00:00:00

Hoje vou conversar com Andrej Karpathy. Andrej, por que você diz que isto não vai ser o "ano dos agentes", mas sim a "década dos agentes"?

Andrej Karpathy 00:00:07

Antes de tudo, obrigado pelo convite. Fico feliz de estar aqui.

Essa expressão que você acabou de mencionar, "década dos agentes", na verdade foi uma reação a algo que já vinha sendo dito. Não sei exatamente quem falou isso, mas havia essa ideia, ligada à evolução dos LLMs, de que este ano seria o "ano dos agentes". Isso me provocou, porque acho que há um monte de previsões exageradas circulando no setor. Na minha opinião, chamar isso de "década dos agentes" é muito mais preciso.

Já temos agentes em estágio inicial, mas muito impressionantes, e eu mesmo uso coisas como Claude e Codex todos os dias. Mas ainda sinto que há uma quantidade enorme de trabalho pela frente. Acho que vamos trabalhar com essas coisas pelos próximos 10 anos. Elas vão melhorar gradualmente e vão ficar ótimas. Eu só estou reagindo a esse cronograma implícito.

Dwarkesh Patel 00:00:58

O que faz você achar que vai levar 10 anos? Onde está o gargalo?

Andrej Karpathy 00:01:02

Fazer com que realmente funcione. Quando falamos de agentes, o que os laboratórios de IA têm em mente — e provavelmente eu também — é algo que deveria ser como um funcionário ou estagiário que você contrataria para trabalhar junto com você. Por exemplo, você trabalha aqui com funcionários. Em que momento você gostaria que um agente como Claude ou Codex fizesse esse trabalho?

No momento, obviamente isso é impossível. O que seria necessário para tornar isso possível? Por que não usamos isso hoje? O motivo é simples: não funciona direito. Não há inteligência suficiente, não há capacidade multimodal suficiente, e eles não conseguem fazer coisas como usar um computador.

Eles não conseguem fazer muitas das coisas que você mencionou antes. Não têm capacidade de aprendizado contínuo. Se você ensina alguma coisa, não pode esperar que vão se lembrar. Há muitas limitações cognitivas, e simplesmente não funciona direito. Resolver todos esses problemas vai levar algo como 10 anos.

Dwarkesh Patel 00:01:44

Interessante. Como podcaster profissional e alguém que observa a IA de longe, é fácil perceber o que está faltando. Falta aprendizado contínuo, faltam capacidades multimodais e assim por diante. Mas eu não tenho uma boa forma de colocar isso em um cronograma. Se alguém me perguntar quanto tempo vai levar para termos aprendizado contínuo, eu realmente não tenho nenhuma intuição sobre se isso é um projeto de 5, 10 ou 50 anos. Por que 10 anos? Por que não 1 ano, ou 50?

Andrej Karpathy 00:02:16

Aqui entra minha intuição pessoal, e uma inferência baseada na experiência de campo. Estou na área de IA há quase 20 anos. Talvez uns 15. Não é tanto assim. Richard Sutton, que esteve aqui, está nisso há muito mais tempo. Eu tenho cerca de 15 anos de experiência e, nesse período, vi as previsões que as pessoas faziam e observei como elas se concretizavam. Também estive na indústria por um tempo, estive em pesquisa e depois voltei para a indústria. Dessa experiência ficou uma intuição geral.

Minha sensação é que esses problemas são solucionáveis, superáveis, mas ainda são difíceis. Fazendo uma média mental de tudo isso, para mim simplesmente parece algo na casa de 10 anos.

Dwarkesh Patel 00:02:57

Muito interessante. Quero ouvir não só sobre a história, mas também sobre o que as pessoas que estavam presentes em vários momentos de avanço sentiram que iria acontecer. De que maneiras as previsões delas foram excessivamente pessimistas ou excessivamente otimistas? Vamos passar por isso uma a uma?

Andrej Karpathy 00:03:16

Essa é uma pergunta enormemente grande. Porque estamos falando sobre coisas que aconteceram ao longo de 15 anos. A IA é uma área realmente incrível. Houve algumas mudanças sísmicas em que, de repente, toda a área passou a parecer completamente diferente. Acho que provavelmente vivi duas ou três delas pessoalmente. E acho que vai continuar havendo mais. Elas acontecem com uma regularidade quase surpreendente.

Quando minha carreira começou, quando comecei a trabalhar com deep learning, meu interesse por deep learning veio meio que por acaso, porque eu estava na University of Toronto bem ao lado de Geoff Hinton. Geoff Hinton é, claro, uma espécie de padrinho da IA. Ele estava treinando essas redes neurais, e eu achava aquilo incrível e interessante. Mas isso definitivamente não era o principal que todo mundo fazia em IA naquela época. Era só um pequeno nicho em um canto. Aquilo provavelmente foi a primeira grande mudança sísmica, que veio com o AlexNet.

O AlexNet reorientou todo mundo, e todos começaram a treinar redes neurais. Mas ainda assim a abordagem era por tarefa, por tarefa específica. Você tinha um classificador de imagens, ou tinha uma tradução automática neural, esse tipo de coisa. As pessoas começaram muito lentamente a se interessar por agentes. Começaram a pensar: “Ok, marcamos a caixa do córtex visual, mas e as outras partes do cérebro, e como conseguimos um agente completo ou uma entidade completa que possa interagir com o mundo?”

A mudança do deep reinforcement learning no Atari por volta de 2013, na minha opinião, fez parte dos esforços iniciais em torno de agentes. Porque era uma tentativa de criar um agente que não apenas percebesse o mundo, mas também agisse, interagisse e recebesse recompensas do ambiente. Na época, isso era no contexto de jogos de Atari.

Eu sinto que aquilo foi a direção errada. Uma direção errada que até a OpenAI dos primeiros tempos, da qual eu participei, adotou. Porque o zeitgeist daquela época era ambientes de reinforcement learning, jogos, gameplay, vencer jogos, obter vários tipos de jogos, e a OpenAI também fazia muito disso. Tudo aquilo foi meio que um erro. Provavelmente por 2, 3, 4 anos todo mundo estava aplicando reinforcement learning a jogos, e tudo isso estava meio que na direção errada.

O que eu estava tentando fazer na OpenAI — eu sempre fui um pouco cético quanto à ideia de que jogos levariam à AGI. Na minha cabeça, eu queria algo como um contador, algo que interagisse com o mundo real. Eu não conseguia entender como jogos levariam a isso. Então, por exemplo, meu projeto na OpenAI, dentro do escopo do projeto Universe, era sobre um agente que usava teclado e mouse para manipular páginas da web. Eu realmente queria construir algo que pudesse interagir com o mundo digital real e fazer trabalho intelectual.

Mas acabou que isso era cedo demais, cedo demais mesmo, uma tentativa antecipada a ponto de não ser algo em que deveríamos estar trabalhando. Porque, se você fica apenas tateando, apertando teclas aleatoriamente e clicando com o mouse enquanto tenta obter recompensa nesses ambientes, a recompensa é rara demais e o aprendizado não acontece. Você queima uma quantidade enorme de computação, mas nunca consegue resultado. O que estava faltando era a capacidade de representação nas redes neurais.

Por exemplo, hoje as pessoas treinam agentes de uso de computador, mas fazem isso em cima de grandes modelos de linguagem. Primeiro você precisa ter o modelo de linguagem, primeiro precisa ter a representação, e precisa obtê-la por meio de pré-treinamento e de todo o trabalho relacionado a LLMs.

Minha impressão, de modo geral, é que houve várias tentativas recorrentes de conseguir a coisa completa cedo demais. Eu diria que as pessoas tentaram buscar agentes cedo demais. Isso aconteceu com Atari e Universe, e até com a minha própria experiência. Na verdade, havia coisas que precisavam ser feitas antes de chegar a agentes. Agora os agentes são muito mais capazes, mas provavelmente ainda estamos deixando faltar parte dessa stack.

Eu diria que essas são as três principais categorias do que as pessoas estavam fazendo: treinar redes neurais por tarefa, tentar a primeira rodada de agentes e, depois, buscar a capacidade de representação das redes neurais antes de adicionar LLMs e todo o resto por cima.

Dwarkesh Patel 00:07:02

Interessante. Se eu fosse defender a visão do Sutton de forma um pouco mais forte, os humanos conseguem absorver tudo de uma vez. Ou até os animais conseguem absorver tudo de uma vez. Talvez animais sejam um exemplo melhor, porque nem sequer têm a estrutura da linguagem. Eles simplesmente são jogados no mundo e precisam entender tudo sem rótulo nenhum.

Então a visão para a AGI não deveria ser olhar para dados sensoriais, olhar para uma tela de computador, e descobrir do zero o que está acontecendo? Se humanos fossem colocados em uma situação parecida e tivessem que ser treinados do zero... isso é como um humano crescendo ou um animal crescendo. Em vez de fazer milhões de anos de treinamento, por que isso não deveria ser a visão para a IA?

Andrej Karpathy 00:07:41

É uma ótima pergunta. Sutton participou do seu podcast, eu também assisti, e escrevi sobre como penso nisso. Eu sou muito cauteloso com fazer analogias com animais. Porque os animais surgiram por meio de um processo de otimização muito diferente. Os animais evoluíram e vêm com uma quantidade enorme de hardware embutido.

Por exemplo, o exemplo no meu texto era uma zebra. A zebra nasce e, poucos minutos depois, sai correndo e seguindo a mãe. Isso é algo enormemente complexo. Isso não é reinforcement learning. Isso é embutido. A evolução claramente tem uma maneira de codificar os pesos das nossas redes neurais em ATCG, e eu não sei como isso funciona, mas claramente funciona.

O cérebro surgiu de um processo muito diferente, e eu fico muito relutante em me inspirar nisso. Porque nós não estamos realmente executando esse processo. No meu texto eu disse que não estamos criando animais. Estamos criando fantasmas ou espíritos, ou como as pessoas quiserem chamar. Porque não estamos treinando por evolução. Estamos treinando por imitação de humanos e pelos dados que eles colocaram na internet.

No fim, isso vira uma espécie de ser espiritual. É totalmente digital e está imitando humanos. É um tipo diferente de inteligência. Se você imaginar o espaço das inteligências, estamos basicamente começando de um ponto diferente. Nós realmente não estamos criando animais. Mas acho que, com o tempo, também é possível torná-los um pouco mais parecidos com animais, e acho que deveríamos fazer isso.

Mais uma coisa que eu diria é que Sutton está muito... o framework dele é “queremos criar animais”. Eu acho que seria excelente se isso pudesse funcionar. Seria realmente incrível. Se houvesse um algoritmo único que pudesse rodar na internet e aprender tudo, isso seria incrível. Não tenho certeza se isso existe, e definitivamente não é o que os animais fazem. Os animais têm um loop externo que é a evolução.

Grande parte do que parece aprendizado está mais próxima da maturação do cérebro do que de aprendizado propriamente dito. Acho que há muito pouco reinforcement learning nos animais. A maior parte do reinforcement learning está em tarefas motoras e coisas do tipo. Não em tarefas de inteligência. Então, na verdade, acho que os humanos usam muito pouco RL, falando de modo geral.

Dwarkesh Patel 00:09:52

Você pode repetir a última frase? Essa parte de que muita dessa inteligência não está em tarefas motoras... como era mesmo?

Andrej Karpathy 00:09:54

Do meu ponto de vista, grande parte do reinforcement learning estaria em coisas muito mais motoras, tarefas simples como jogar uma bola numa cesta de basquete. Mas eu não acho que os humanos usem reinforcement learning em muitas tarefas inteligentes, como resolução de problemas. Isso não quer dizer que não devamos fazer isso em pesquisa, mas acho que isso é justamente algo que os animais fazem — ou não fazem.

Dwarkesh Patel 00:10:17

Vou precisar de um tempo para processar isso. Tem muitas ideias aí. Para eu entender a perspectiva, deixa eu fazer uma pergunta de esclarecimento. Você sugeriu que a evolução faz o mesmo tipo de coisa que o pré-treinamento faz, no sentido de construir algo que consegue entender o mundo.

A diferença é que a evolução, no caso dos humanos, precisa ser regulada por 3 gigabytes de DNA. Isso é muito diferente dos pesos de um modelo. Literalmente, os pesos do modelo são o cérebro, e isso claramente não existe no esperma nem no óvulo. Portanto, isso precisa crescer. Além disso, a informação sobre todas as sinapses do cérebro simplesmente não pode existir nesses 3 gigabytes presentes no DNA.

A evolução parece estar mais próxima de encontrar um algoritmo que faz aprendizado ao longo da vida. Claro, o aprendizado ao longo da vida pode não ser parecido com RL, como você apontou. Isso é compatível com o que você está dizendo, ou você discorda?

Andrej Karpathy 00:11:17

Acho que sim. Concordo que claramente está acontecendo uma compressão impressionante. Obviamente, os pesos de uma rede neural não estão armazenados em ATCG. Há uma compressão dramática. Existem algoritmos de aprendizado codificados que assumem parte do aprendizado online. Nesse ponto, eu certamente concordo. Eu diria que tenho uma mentalidade muito mais prática. Não abordo isso do ponto de vista de “vamos criar um animal”. Eu abordo do ponto de vista de “vamos criar algo útil”. Estou usando capacete de segurança e apenas observando que não vamos fazer evolução. Não sabemos como fazer isso.

Mas descobriu-se que, ao imitar documentos da internet, dá para criar essas entidades fantasmagóricas, quase espirituais. Isso funciona. É uma versão pragmaticamente viável de te levar até algo com muito conhecimento embutido e inteligência, de certa forma semelhante ao que a evolução fez. É por isso que eu chamo o pré-treinamento de uma evolução meia-boca. É a versão pragmaticamente viável com a nossa tecnologia e com o que temos à disposição, e que nos leva a um ponto de partida a partir do qual dá para fazer coisas como aprendizado por reforço.

Dwarkesh Patel 00:12:15

Para defender a outra perspectiva, depois de fazer essa entrevista com Sutton e pensar sobre isso, acho que ele tem um ponto importante aqui. A evolução, na verdade, não nos dá conhecimento. Ela nos dá um algoritmo para encontrar conhecimento. E isso parece diferente de pré-treinamento.

Talvez a visão correta seja que o pré-treinamento ajuda a construir um tipo de entidade que consegue aprender melhor. Ele ensina meta-aprendizado, então é semelhante a encontrar o algoritmo. Mas, se você disser “a evolução nos dá conhecimento, o pré-treinamento nos dá conhecimento”, essa analogia parece desmoronar.

Andrej Karpathy 00:12:42

É sutil, e acho que você está certo em questionar isso, mas basicamente o que o pré-treinamento está fazendo é obter um preditor do próximo token para a internet e treiná-lo em uma rede neural. Ele está fazendo duas coisas não relacionadas. Primeiro, está adquirindo tudo isso que eu chamaria de conhecimento. Segundo, está de fato se tornando inteligente.

Ao observar padrões algorítmicos na internet, ele ativa todos esses pequenos circuitos e algoritmos dentro da rede neural para fazer coisas como aprendizado em contexto (in-context learning). Você nem precisa nem quer o conhecimento. Na minha opinião, isso provavelmente até atrapalha a rede neural de modo geral, porque às vezes a faz depender demais do conhecimento.

Por exemplo, uma coisa em que agentes não são bons é sair da variedade dos dados que existem na internet. Se eles tivessem menos conhecimento ou memória, talvez fossem melhores. Acho que uma coisa que precisaremos fazer no futuro — e isso fará parte do paradigma de pesquisa — é descobrir como remover parte do conhecimento e preservar o que eu chamo de núcleo cognitivo. É essa entidade inteligente descolada do conhecimento, mas contendo a mágica dos algoritmos, da inteligência, da resolução de problemas e das estratégias.

Dwarkesh Patel 00:13:50

Tem muita coisa muito interessante aí. Vamos começar pelo aprendizado em contexto. Isso é algo óbvio, mas acho que vale a pena dizer explicitamente e refletir sobre isso. As situações em que esses modelos parecem mais inteligentes — aqueles momentos em que, conversando com eles, eu sinto “uau, realmente tem alguma coisa do outro lado me respondendo”, quando eles cometem um erro e dizem “ah, espera, essa é uma forma errada de pensar. Vamos voltar” — tudo isso está acontecendo no contexto. É aí que está a inteligência real que você consegue ver com os próprios olhos.

O processo de aprendizado em contexto é desenvolvido pelo gradiente descendente no pré-treinamento. Ele faz meta-aprendizado de aprendizado em contexto de forma espontânea, mas o aprendizado em contexto em si não é gradiente descendente. É da mesma forma que, para nós humanos, nossa capacidade de fazer coisas com a inteligência ao longo da vida é condicionada pela evolução, mas nosso aprendizado ao longo da vida acontece por meio de um processo diferente.

Andrej Karpathy 00:14:42

Não concordo totalmente, mas continue desenvolvendo sua ideia.

Dwarkesh Patel 00:14:44

Bom, eu quero entender como essa analogia desmorona.

Andrej Karpathy 00:14:48

Eu hesito em dizer que o aprendizado em contexto não faz gradiente descendente. Ele não faz gradiente descendente explícito. O aprendizado em contexto é conclusão de padrões dentro da janela de tokens. Descobriu-se que existe uma enorme quantidade de padrões na internet. Você está certo. O modelo aprende a completar padrões, e isso está nos pesos. Os pesos da rede neural tentam descobrir padrões e completá-los. Há uma adaptação acontecendo dentro da rede neural que é mágica e simplesmente emerge da internet. Porque há muitos padrões.

Vou dizer que existem artigos interessantes que analisam o mecanismo por trás do aprendizado em contexto. Acho possível que o aprendizado em contexto esteja executando pequenos loops de gradiente descendente dentro das camadas da rede neural. Um artigo de que eu me lembro em particular fazia regressão linear usando aprendizado em contexto. A entrada para a rede neural são pares XY. XY, XY, XY em uma linha. Depois você dá X e espera Y. Quando treinada dessa forma, a rede neural faz regressão linear.

Normalmente, quando você executa regressão linear, existe um pequeno otimizador de gradiente descendente que olha para XY, vê o erro, calcula o gradiente dos pesos e faz algumas atualizações. Quando observaram os pesos desse algoritmo de aprendizado em contexto, descobriram algumas semelhanças com o mecanismo de gradiente descendente. Na verdade, acho que o artigo era ainda mais forte: eles codificaram manualmente os pesos da rede neural para que ela fizesse gradiente descendente por meio da atenção e de toda a parte interna da rede neural.

Essa é minha única contestação. Ninguém sabe como o aprendizado em contexto funciona, mas ele provavelmente está fazendo internamente algum gradiente descendente meio estranho. Acho que isso é possível. Só estou contestando quando você diz que ele não faz aprendizado em contexto. Ninguém sabe o que ele está fazendo, mas provavelmente está fazendo algo parecido com isso. Mas não sabemos.

Dwarkesh Patel 00:16:39

Então, se tanto o aprendizado em contexto quanto o pré-treinamento estão implementando algo parecido com gradiente descendente, por que parece que é no aprendizado em contexto que chegamos a esse tipo de aprendizado contínuo, de inteligência real? Enquanto só com o pré-treinamento a gente não tem essa mesma sensação. Dá para fazer esse argumento.

Se for o mesmo algoritmo, o que poderia ser diferente? Uma forma de pensar nisso é: quanta informação o modelo armazena para cada unidade de informação que recebe no treinamento. Se olharmos para o pré-treinamento, por exemplo o Llama 3, ele foi treinado com 15 trilhões de tokens. Se você pegar o modelo de 70B, isso corresponderia a 0,07 bit por token visto no pré-treinamento, em termos dos tokens lidos em comparação com a informação presente nos pesos do modelo. Já se você olhar para o cache KV e quanto isso aumenta por token adicional no aprendizado em contexto, dá cerca de 320 kilobytes. Então há uma diferença de 35 milhões de vezes na quantidade de informação que o modelo assimila por token. Fico me perguntando se isso tem relação.

Andrej Karpathy 00:17:46

Concordo até certo ponto. A forma como normalmente expresso isso é que tudo o que acontece durante o treinamento da rede neural faz com que o conhecimento seja apenas uma lembrança vaga do que ocorreu no tempo de treinamento. Isso porque a compressão é dramática. Você pega 15 trilhões de tokens e os comprime em uma rede neural final com alguns bilhões de parâmetros. Claramente, há uma quantidade enorme de compressão acontecendo. É por isso que eu chamo isso de uma lembrança vaga de documentos da internet.

Por outro lado, tudo o que acontece na janela de contexto da rede neural — inserir todos os tokens e construir todas as representações do cache KV — é algo a que a rede neural consegue acessar de forma muito direta. Então eu comparo o cache KV e as coisas que acontecem no tempo de teste a algo mais parecido com memória de trabalho. Tudo que está na janela de contexto é muito diretamente acessível para a rede neural.

Sempre existem essas semelhanças quase surpreendentes entre LLMs e humanos. Eu as acho surpreendentes porque não estamos tentando diretamente construir um cérebro humano. Estamos só fazendo isso porque descobrimos que funciona. Mas sinto que tudo o que está nos pesos é uma lembrança vaga de algo que você leu há um ano. Já tudo o que você fornece como contexto no tempo de teste está diretamente na memória de trabalho. Essa é uma metáfora muito poderosa para pensar sobre o assunto.

Por exemplo, se você for a um LLM e perguntar sobre algum livro, sobre o que acontece nele, algo como o livro do Nick Lane, o LLM muitas vezes vai dar algo aproximadamente correto. Mas se você der um capítulo inteiro e então fizer perguntas, vai obter resultados muito melhores. Porque agora isso foi carregado para a memória de trabalho do modelo. Então essa é uma forma longa de dizer que concordo, e esse é o motivo.

Dwarkesh Patel 00:19:11

Dando um passo atrás, qual é a parte da inteligência humana que mais falhamos em reproduzir com esses modelos?

Andrej Karpathy 00:19:20

Muita coisa, simplesmente. Então uma forma de pensar nisso — não sei se é a melhor — é que eu quase... de novo, essas analogias são imperfeitas, mas sinto que, com as redes neurais transformer, encontramos por acaso algo que é extremamente poderoso e muito geral. Você pode treinar transformers para áudio, vídeo, texto, qualquer coisa que quiser, e eles aprendem padrões, são muito poderosos e funcionam muito bem. Isso quase me sugere que isso é algum tipo de tecido cortical. Parece isso. Porque o córtex é famoso por ser muito plástico. Você pode reconectar partes do cérebro. Houve experimentos um tanto perturbadores em que o córtex visual foi reconectado ao córtex auditivo, e esse animal aprendeu bem.

Então eu acho que isso é tecido cortical. Quando fazemos raciocínio e planejamento dentro de redes neurais, quando fazemos traços de raciocínio para modelos de pensamento, isso parece um pouco com o córtex pré-frontal. Talvez essas coisas sejam pequenas marcações de check, mas ainda acho que existem muitas partes e núcleos do cérebro que permanecem inexplorados. Por exemplo, existe o gânglio basal, que faz um pouco de aprendizado por reforço quando ajustamos modelos com aprendizado por reforço. Mas onde está o hipocampo? Não está claro o que seria isso. Algumas partes talvez não sejam importantes. Talvez o cerebelo não seja importante para cognição nem para pensamento, então talvez possamos pular algumas coisas. Mas ainda acho que existem, por exemplo, a amígdala, todas as emoções e instintos. Provavelmente há muitos outros núcleos muito antigos do cérebro que de fato não reproduzimos.

Não acho que devamos perseguir a criação de um análogo do cérebro humano. No fundo, eu sou principalmente engenheiro. Talvez outra forma de responder à pergunta seja dizer que eu não contrataria isso como estagiário. Ainda falta muita coisa. Isso aparece junto com muitas falhas cognitivas que todos nós sentimos intuitivamente ao conversar com os modelos. Então ainda não chegou lá por completo. Dá para ver como se nem todas as partes do cérebro tivessem sido marcadas como concluídas ainda.

Dwarkesh Patel 00:21:16

Isso pode estar relacionado à questão de pensar com que rapidez esses problemas serão resolvidos. Às vezes as pessoas dizem sobre aprendizado contínuo: “Olha, podemos reproduzir essa capacidade com facilidade. Assim como o aprendizado em contexto emergiu espontaneamente como resultado do pré-treinamento, o aprendizado contínuo em horizontes mais longos também vai emergir espontaneamente se os modelos forem incentivados a lembrar informações ao longo de horizontes maiores, horizontes que vão além de uma única sessão.” Então, se houver RL em loop externo com muitas sessões dentro desse loop externo, esse aprendizado contínuo — seja ajustando a si mesmo ou escrevendo em memória externa — simplesmente vai emergir espontaneamente. Você acha esse tipo de coisa plausível? Eu não tenho nenhuma intuição prévia sobre o quão plausível isso é. Qual é a probabilidade de acontecer?

Andrej Karpathy 00:22:07

Eu não simpatizo totalmente com isso. Quando esses modelos inicializam, quando têm zero tokens na janela, eles sempre recomeçam do zero, do ponto em que estavam. Então não sei como isso se apresenta nessa visão de mundo. Fazendo uma pequena analogia com humanos — que acho mais ou menos concreta e interessante de pensar — quando estou acordado, sinto que estou construindo uma janela de contexto com as coisas que acontecem ao longo do dia. Mas quando durmo, acontece alguma coisa mágica, e acho que essa janela de contexto não permanece. Existe algum processo de destilação para os pesos do cérebro. Isso acontece durante o sono e coisas do tipo.

Os grandes modelos de linguagem não têm nada equivalente a isso. Para mim, isso é mais próximo do que está faltando quando falamos de aprendizado contínuo. Esses modelos não têm de fato uma etapa de destilação em que pegam o que aconteceu, analisam isso obsessivamente, pensam sobre isso, fazem algum processo de geração de dados sintéticos e então redestilam isso de volta para os pesos. E talvez tenham uma rede neural específica por pessoa. Talvez seja LoRA. Não uma rede neural de pesos completos, mas apenas algum pequeno subconjunto esparso dos pesos que muda.

Mas queremos construir esses indivíduos com contexto muito longo. Não é só que isso fique apenas na janela de contexto porque a janela de contexto cresce muito, muito. Talvez tenhamos atenção esparsa muito sofisticada para isso. Mas ainda acho que os humanos claramente têm algum processo que destila parte desse conhecimento para os pesos. Estamos deixando isso de fora. Também acho que os humanos têm um sistema de atenção esparsa muito sofisticado, e acho que estamos começando a ver algumas pistas iniciais disso. O DeepSeek v3.2 acabou de sair e vi que eles têm atenção esparsa. Por exemplo, essa é uma forma de ter uma janela de contexto muito, muito longa. Então sinto que estamos refazendo muitos dos truques cognitivos que a evolução encontrou, embora por processos muito diferentes. Mas vamos convergir para arquiteturas cognitivamente semelhantes.

Dwarkesh Patel 00:24:02

Você acha que daqui a 10 anos ainda será algo como transformers? Mas com attention muito mais modificada e MLPs mais esparsas, por exemplo?

Andrej Karpathy 00:24:10

A forma como penso nisso, em termos de tempo, é com invariância por translação. Onde estávamos há 10 anos? Em 2015. Em 2015, tínhamos principalmente redes neurais convolucionais, e as redes residuais tinham acabado de surgir. É surpreendentemente parecido, mas ainda assim bem diferente. Transformers ainda não existiam. Também não existiam esses ajustes mais modernos em transformers. Algumas das coisas em que provavelmente dá para apostar, na minha opinião, é que, por essa equivalência de translação, daqui a 10 anos ainda estaremos treinando redes neurais gigantes com passes forward e backward e atualizações via descida de gradiente. Mas provavelmente isso vai ter uma aparência um pouco diferente, e tudo será muito maior.

Recentemente, há alguns anos, voltei até 1989, e isso foi um exercício divertido para mim. Eu estava reproduzindo a rede convolucional de 1989 de Yann LeCun. Até onde eu sei, essa foi a primeira rede neural treinada com descida de gradiente. Uma rede neural moderna para reconhecimento de dígitos treinada com descida de gradiente. Eu estava interessado em como modernizar isso. Quanto disso é algoritmo? Quanto disso é dado? Quanto desse progresso vem de computação e sistemas? Muito rapidamente, com essa viagem no tempo de 33 anos, consegui cortar o erro pela metade.

Então, ao fazer essa viagem de 33 anos em termos de algoritmo, consegui ajustar o que Yann LeCun fez em 1989 e reduzir o erro pela metade. Mas, para obter ganhos maiores, foi preciso adicionar muito mais dados, aumentar o conjunto de treinamento em 10 vezes e acrescentar muito mais otimizações de computação. Também foi preciso treinar por muito mais tempo, com dropout e outras técnicas de regularização.

Então, tudo isso precisa melhorar ao mesmo tempo. Provavelmente teremos muito mais dados, hardware muito melhor, kernels e software muito melhores para executar o hardware e maximizar o que se obtém dele, e algoritmos melhores. Tudo isso — e não parece que nenhum desses fatores esteja vencendo por muito. Todos são surpreendentemente equivalentes. Essa tem sido a tendência há um bom tempo.

Então, para responder à pergunta, espero que haja diferenças algorítmicas em relação ao que está acontecendo hoje. Mas também espero que algumas das coisas que já existem há muito tempo ainda estejam lá. Provavelmente ainda serão redes neurais gigantes treinadas com descida de gradiente. Esse é o meu palpite.

Dwarkesh Patel 00:26:16

É impressionante que, juntando tudo, vocês só tenham reduzido o erro pela metade, com 30 anos de progresso... embora metade possa ser muita coisa. Porque, se você reduz o erro pela metade, isso na verdade...

Andrej Karpathy 00:26:30

Metade é bastante. Mas o que me chocou foi que tudo precisou melhorar de forma geral: arquitetura, otimizador, função de perda. E tudo isso também vem melhorando de forma geral para sempre. Então eu espero que todas essas mudanças continuem bem vivas.

Dwarkesh Patel 00:26:43

Sim. Eu ia fazer uma pergunta muito parecida sobre o nanochat. Como você codificou isso recentemente, todas as etapas do processo de criar um chatbot estão frescas na sua RAM. Estou curioso se você teve uma sensação parecida de “ah, nada disso era irrelevante” na passagem do GPT-2 para o nanochat. Qual foi a lição mais surpreendente dessa experiência?

Andrej Karpathy 00:27:08

Sobre criar o nanochat? nanochat é um repositório que eu publiquei. Foi ontem ou anteontem? Não me lembro.

Dwarkesh Patel 00:27:15

Acho que dá para ver os efeitos da falta de sono...

Andrej Karpathy 00:27:18

A ideia é ser o repositório mais simples e completo que cobre todo o pipeline para criar um clone do ChatGPT, do início ao fim. Então ele não tem só etapas individuais, mas todas as etapas, e são muitas. No passado, eu trabalhei em todas as etapas individualmente e publiquei pequenos trechos de código mostrando, em termos algorítmicos, como fazer isso com código simples. Mas isso cobre o pipeline inteiro. Em termos de aprendizado, não tenho certeza de que eu necessariamente tenha aprendido algo com isso. Eu já tinha em mente como construí-lo. Foi mais um processo mecânico de montar tudo e deixá-lo limpo o suficiente para que as pessoas possam aprender e achem útil.

Dwarkesh Patel 00:28:04

Qual seria a melhor forma de alguém aprender com isso? Apagar todo o código e tentar reimplementar do zero, tentar adicionar modificações?

Andrej Karpathy 00:28:10

Boa pergunta. Basicamente, são cerca de 8.000 linhas de código cobrindo o pipeline inteiro, do começo ao fim. Eu provavelmente deixaria isso no monitor da direita. Se você tiver dois monitores, deixaria no da direita. Se quiser construir do zero, comece do zero. Copiar e colar não é permitido; consultar, sim, mas copiar e colar, não. Provavelmente é assim que eu faria.

Mas também acho que o próprio repositório é um monstro bem grande. Quando você escreve esse código, não vai de cima para baixo; você vai por blocos e faz os blocos crescerem, e essa informação não está lá. Você não saberia por onde começar. Então, não basta só o repositório final; você precisa do processo de criação do repositório, e isso é um processo complexo de crescimento por blocos. Essa parte ainda não existe. Talvez eu queira adicionar isso mais para o fim desta semana. Talvez em vídeo ou algo assim. Em linhas gerais, é isso que estou tentando fazer. Construa você mesmo, mas não se permita copiar e colar.

Acho que existem quase dois tipos de conhecimento. Existe o conhecimento superficial de alto nível, mas, quando você constrói algo do zero, precisa encarar aquilo que não entende e aquilo que nem sabia que não entendia.

Isso sempre leva a uma compreensão mais profunda. É o único jeito de construir. Se você não consegue construir, então não entende. Acredito que isso seja uma citação de Feynman. Eu sempre acreditei nisso de forma muito forte. Existem essas coisinhas minúsculas que não estão organizadas corretamente, e você na verdade não tem o conhecimento. Só acha que tem. Então não escreva um post de blog, não faça slides, não faça esse tipo de coisa. Escreva código, organize, faça funcionar. Esse é o único caminho. Caso contrário, está faltando conhecimento.

00:29:45 – Deficiência cognitiva dos LLMs

Dwarkesh Patel 00:29:45

Você tuitou que modelos de coding quase não ajudaram na montagem desse repositório. Fiquei curioso sobre o motivo.

Andrej Karpathy 00:29:53

Quero dizer que passei um pouco mais de um mês construindo o repositório. E diria que, hoje, existem três grandes classes na forma como as pessoas interagem com código. Algumas pessoas rejeitam totalmente os LLMs e simplesmente escrevem tudo do zero. Esse provavelmente já não é mais o jeito certo.

A parte intermediária é onde eu estou: ainda escrevo muitas coisas do zero, mas agora uso autocompletar aproveitável desses modelos. Você começa a escrever um pequeno trecho, ele completa automaticamente, e você pode avançar com Tab. Na maioria dos casos, acerta; às vezes erra, e aí você edita. Mas você ainda é o arquiteto do que está escrevendo. Depois existe o vibe coding: “olá, implemente isso ou aquilo”, Enter, e deixe o modelo fazer. Isso é o agente.

Eu sinto que agentes funcionam em configurações muito específicas e vão ser usados em configurações específicas. Mas tudo isso são ferramentas utilizáveis, e você precisa aprender no que elas são boas, no que não são boas e quando deve usá-las. Agentes são bem bons, por exemplo, para trabalho boilerplate. Código boilerplate que você basicamente só copia e cola, esse tipo de coisa. São muito bons para coisas que aparecem com muita frequência na internet. Porque há muitos exemplos disso no conjunto de treinamento desses modelos. Existem características do que o modelo vai fazer muito bem.

Quero dizer que nanochat não é um desses exemplos. Porque é um repositório bem único. Não existe tanto código estruturado do jeito que eu estruturei. Não é código boilerplate. É código intelectualmente denso, e tudo precisa estar disposto de forma muito precisa. Os modelos têm defeitos cognitivos demais. Um exemplo é que eles interpretavam o código errado o tempo todo porque carregam muita memória de todos os métodos comuns da internet que eu não adotei. Os modelos, por exemplo — não sei se quero entrar em todos os detalhes — continuavam achando que eu estava escrevendo código genérico, mas eu não estava.

Dwarkesh Patel 00:31:49

Talvez um exemplo?

Andrej Karpathy 00:31:51

Tenho oito GPUs e todas fazem forward e backward. Uma forma de sincronizar os gradientes entre elas é usar o contêiner Distributed Data Parallel do PyTorch, que inicia a comunicação automaticamente durante o backward e sincroniza os gradientes. Eu não usei DDP. Porque eu não queria usar. Porque não precisava. Joguei isso fora e escrevi minha própria rotina de sincronização dentro da etapa do otimizador. Os modelos queriam me empurrar para usar o contêiner DDP. Eles ficaram muito preocupados. Isso fica técnico demais, mas eu não usei esse contêiner. Porque não é necessário e eu já tenho uma implementação personalizada de algo parecido.

Dwarkesh Patel 00:32:26

Eles não conseguiam internalizar que você já tinha a sua própria solução.

Andrej Karpathy 00:32:28

Eles não conseguiam superar isso. Continuavam tentando estragar o estilo. São defensivos demais. Criam todo tipo de instrução try-catch. Continuam tentando construir uma codebase de produção, mas meu código tem muitas suposições embutidas, e tudo bem. Não precisa de todos esses extras. Então sinto que eles incham a codebase, incham a complexidade, continuam entendendo errado e usam APIs que foram descontinuadas em vários usos. É uma bagunça total. Simplesmente não é útil no saldo líquido. Dá para entrar e limpar, mas no saldo líquido não é útil.

Além disso, eu acho irritante ter que digitar em inglês o que eu quero. Porque é digitação demais. Se eu vou para a parte do código que eu quero, para onde o código deve aparecer, e começo a digitar as primeiras letras, o autocompletar entende e me dá o código. Isso é uma largura de banda de informação muito alta para especificar o que eu quero. Você aponta para o código que quer, digita os primeiros fragmentos, e o modelo completa.

Quer dizer, esses modelos são bons em certas partes da stack. Há dois exemplos em que usei modelos, e acho que são ilustrativos. Um deles foi quando gerei um relatório. Isso era mais boilerplate, então fiz parcialmente com vibe coding. Como não era mission-critical, tudo bem, e funciona bem.

A outra parte foi quando reescrevi o tokenizador em Rust. Eu não manjo muito de Rust. Rust é relativamente novo para mim. Então houve um pouco de vibe coding ao escrever o código em Rust. Mas eu tinha uma implementação em Python que eu entendia completamente, estava verificando se estava produzindo uma versão mais eficiente e tinha testes, então senti que era mais seguro fazer esse tipo de coisa. Eles aumentam a acessibilidade a linguagens ou paradigmas com os quais você talvez não esteja familiarizado. Acho muito útil aí também. Existe muito código Rust, e os modelos se saem bem. Como eu não sei muito sobre isso, os modelos são muito úteis nessa área.

Dwarkesh Patel 00:34:23

A razão de essa pergunta ser tão interessante é que a principal narrativa por trás de as pessoas chegarem muito rapidamente a uma explosão de IA e superinteligência é que a IA automatiza engenharia e pesquisa em IA. Elas veem que têm o Claude Code e conseguem construir do zero uma aplicação inteira, uma aplicação CRUD, e pensam: “se você tivesse a mesma capacidade dentro da OpenAI e da DeepMind, imagine milhares de você ou um milhão de você em paralelo procurando pequenos ajustes de arquitetura”.

É muito interessante ouvir você dizer que é justamente nisso que eles são assimetricamente piores. Isso é bem relevante para prever se algo como uma explosão no estilo AI 2027 pode acontecer em breve.

Andrej Karpathy 00:35:05

Essa é uma boa forma de colocar, e entendo por que meu cronograma é um pouco mais longo. Você está certo. Eles não são tão bons com código que nunca foi escrito antes. Talvez essa seja uma forma de expressar isso, e é o que estamos tentando alcançar ao construir esses modelos.

Dwarkesh Patel 00:35:19

Pergunta muito ingênua, mas os ajustes de arquitetura que você está adicionando ao nanochat estão em algum paper, certo? Talvez até em algum repositório por aí. Se você disser “adicione embeddings RoPE”, não é surpreendente que eles façam isso do jeito errado?

Andrej Karpathy 00:35:42

É difícil. Eles sabem, mas não sabem completamente. Eles não sabem como integrar isso plenamente ao repositório, ao seu estilo, ao seu código, ao seu contexto, às customizações que você fez e a todas as suposições do repositório, nem como isso tudo se encaixa. Eles têm um pouco de conhecimento, mas ainda não chegaram ao ponto de conseguir integrar e compreender isso.

Muita coisa está melhorando continuamente. O modelo de ponta que uso hoje é o GPT-5 Pro, e é um modelo muito poderoso. Se eu tiver 20 minutos, copio e colo o repositório inteiro e vou ao GPT-5 Pro, o oráculo, para fazer algumas perguntas. Muitas vezes não é tão ruim, e comparado ao que existia um ano atrás é surpreendentemente bom.

No geral, os modelos ainda não chegaram lá. Sinto que a indústria está dando um salto grande demais e tentando fingir que isso é incrível, mas não é. É slop. Eles não estão encarando isso de frente e talvez estejam tentando captar recursos ou algo assim. Não sei o que está acontecendo, mas estamos nessa fase intermediária. Os modelos são incríveis. Ainda exigem muito trabalho. Por enquanto, autocompletar é o meu ponto ideal. Mas às vezes, para certos tipos de código, eu vou de agente com LLM.

Dwarkesh Patel 00:36:53

Há outro motivo pelo qual isso é realmente interessante. Ao longo da história da programação, houve muitos aumentos de produtividade — compiladores, linting, linguagens de programação melhores — que elevaram a produtividade dos programadores, mas não levaram a uma explosão. Isso soa muito parecido com autocompletar via Tab, e essa outra categoria é simplesmente automação do programador. É interessante que você esteja vendo isso muito mais na categoria de análogos históricos como compiladores melhores ou coisas desse tipo.

Andrej Karpathy 00:37:26

Talvez isso leve a uma ideia diferente. Para mim, é difícil distinguir onde a IA começa e termina, porque eu a vejo fundamentalmente como uma extensão da computação de uma forma bem básica. Eu vejo um contínuo nisso. Um contínuo, desde o início, de autoaperfeiçoamento recursivo ou de acelerar o programador: editor de código, realce de sintaxe, ou checagem de tipos, checagem de tipos de dados — todas essas ferramentas que criamos uns para os outros.

Até mecanismos de busca. Por que um mecanismo de busca não faz parte da IA? O ranqueamento é IA. Em certo momento, o Google, no começo, pensava em si mesmo como uma empresa de IA fazendo um mecanismo de busca. Isso é totalmente justo.

Eu vejo isso muito mais como um contínuo do que outras pessoas. Para mim, é difícil traçar uma linha. Agora temos autocompletar muito melhor, e agora também temos alguns agentes, que são essas coisas iterativas, mas às vezes saem do rumo. O que está acontecendo é que os humanos estão gradualmente fazendo um pouco menos das coisas de baixo nível. Nós não escrevemos código assembly, porque existem compiladores. O compilador pega a linguagem de alto nível C e vai escrever o código assembly.

Estamos nos abstraindo de nós mesmos muito, muito lentamente. Existe o que eu chamo de "slider de autonomia", em que cada vez mais coisas são automatizadas — entre as coisas que podem ser automatizadas em algum momento — nós fazemos um pouco menos delas, e elevamos a nós mesmos para a camada de abstração acima da automação.

00:40:05 – RL é terrível

Dwarkesh Patel 00:40:05

Vamos falar um pouco sobre RL. Você tuitou coisas muito interessantes sobre isso. Conceitualmente, como devemos pensar sobre a forma como os humanos conseguem construir modelos de mundo ricos apenas interagindo com o ambiente? E de um jeito que parece quase desconectado da recompensa final no fim do episódio?

Se alguém começa um negócio e, 10 anos depois, descobre se o negócio deu certo ou fracassou, dizemos que essa pessoa adquiriu muita sabedoria e experiência. Mas isso não acontece porque a log-probabilidade de cada coisa individual que ocorreu nos últimos 10 anos foi ponderada para cima ou para baixo. Está acontecendo algo muito mais intencional e rico. Qual é a analogia em ML, e como isso se compara ao que estamos fazendo agora com LLMs?

Andrej Karpathy 00:40:47

Talvez a forma como eu colocaria isso seja: os humanos não usam aprendizado por reforço. Como eu disse. Acho que fazemos outra coisa. O aprendizado por reforço é muito pior do que a pessoa média imagina. O aprendizado por reforço é terrível. Só aconteceu porque tudo o que havia antes era muito pior. Porque antes estávamos apenas imitando pessoas, e então havia todos esses problemas.

No aprendizado por reforço, digamos que você esteja resolvendo um problema de matemática. Porque é bem simples. Você recebe um problema de matemática e tenta encontrar a solução. No aprendizado por reforço, primeiro você vai tentar muitas coisas em paralelo. Você recebe o problema, faz centenas de tentativas diferentes. Essas tentativas podem ser complexas. Pode ser "vamos tentar isso, vamos tentar aquilo, isso não funcionou, aquilo não funcionou" e assim por diante. E então talvez você obtenha a resposta. Agora você olha no gabarito e vê: "certo, a resposta correta é esta". Você consegue ver que isto, isto e aquilo levaram à resposta correta, mas essas outras 97 não. O que o aprendizado por reforço literalmente faz é ir até as coisas que funcionaram muito bem e aumentar o peso de cada coisa feita no processo, de cada token individual, como se fosse "faça mais disso".

O problema disso é que as pessoas diriam que seu estimador tem alta variância, mas isso é só ruído. É ruído. Ele assume que todos os pequenos pedaços de uma solução que quase chegou à resposta correta eram a coisa certa a se fazer, mas isso não é verdade. Você pode ter entrado em becos sem saída até chegar à resposta certa. Desde que você obtenha a resposta certa, cada coisa errada que fez vai ser reforçada como "faça mais disso". É terrível. É ruído.

Você fez todo esse trabalho e no fim recebe um único número: "ah, acertei". Com base nisso, você pondera a trajetória inteira aumentando ou diminuindo seu peso. A forma como eu gosto de dizer isso é que você está sugando supervisão por um canudo. Você fez todo esse trabalho, que pode ser um rollout de um minuto, e está sugando os bits de supervisão do sinal de recompensa final por um canudo, transmitindo isso por toda a trajetória e usando isso para aumentar ou diminuir o peso da trajetória. É simplesmente algo estúpido e insano.

Os humanos jamais fariam isso. Primeiro, humanos jamais fariam centenas de rollouts. Segundo, quando uma pessoa encontra uma solução, ela teria um processo de revisão bem complexo, do tipo: "certo, acho que estas partes foram bem feitas, estas partes nem tanto. Talvez eu devesse fazer isto ou aquilo". As pessoas pensam sobre as coisas. Não há nada nos LLMs atuais que faça isso. Não existe equivalente a isso. Mas estou vendo papers aparecerem. Estão surgindo papers tentando fazer isso. Porque isso é óbvio para todo mundo na área.

O primeiro aprendizado por imitação, aliás, foi extremamente surpreendente, milagroso e impressionante. O fato de que você podia fazer fine-tuning por imitação de humanos. Isso foi surpreendente. Porque, no começo, tudo o que tínhamos era o modelo base. O modelo base é autocompletar. Isso não era óbvio para mim na época, e eu precisei aprender isso. O paper que explodiu minha mente foi o InstructGPT. Porque ele apontou que, se você pega um modelo pré-treinado, isto é, um autocompletar, e faz fine-tuning com texto que parece uma conversa, o modelo se adapta muito rapidamente e se torna muito conversacional, mantendo todo o conhecimento do pré-treinamento. Isso explodiu minha mente. Porque, em termos de estilo, eu não entendia que você podia ajustá-lo tão rapidamente e, com apenas alguns ciclos de fine-tuning nesse tipo de dado, ele poderia se tornar um assistente para o usuário. O fato de isso funcionar foi muito milagroso para mim. Foi incrível demais. Isso foi um trabalho de 2 a 3 anos.

Aí chegou o RL. E o RL permite ir um pouco além do simples aprendizado por imitação. Porque você pode ter essas funções de recompensa e pode fazer subida de encosta em relação à função de recompensa. Alguns problemas simplesmente têm uma resposta correta, e você pode fazer subida de encosta em cima disso sem imitar a trajetória de um especialista. Então isso é incrível. O modelo também pode descobrir soluções que um humano talvez nunca imaginasse. Isso é incrível. Mas, ainda assim, é estúpido.

Precisamos de mais. Ontem vi um paper do Google tentando incorporar essa ideia de reflexão e revisão. Era o paper do memory bank? Não sei. Vi alguns papers nessa direção. Então eu espero que a principal atualização sobre como fazer algoritmos para LLMs venha dessa área. Acho que precisamos de mais três, quatro ou cinco coisas assim.

Dwarkesh Patel 00:44:54

Você é realmente muito bom em criar expressões vívidas. "Sugar supervisão por um canudo" é muito boa.

Então você está dizendo que o problema da recompensa baseada em resultado é que existe essa trajetória enorme, e você está tentando aprender a partir daquele único bit final no fim tanto o que fazer quanto tudo o que há para aprender sobre o mundo. Dado que isso é tão óbvio, por que a supervisão baseada em processo não conseguiu se tornar um método bem-sucedido para deixar os modelos mais capazes como alternativa? O que está impedindo o uso desse paradigma alternativo?

Andrej Karpathy 00:45:29

A supervisão baseada em processo apenas significa que não teremos uma função de recompensa só no final. Depois de 10 minutos de trabalho, não vamos dizer apenas se foi bem ou mal. Vamos dizer, em cada etapa, o quão bem você está indo. A razão de não termos isso é que fazer isso direito é complicado. Há soluções parciais, e não sabemos como atribuir o crédito. Quando você obtém a resposta certa, isso é apenas uma correspondência de equivalência da resposta. É muito simples de implementar. Se você está fazendo supervisão de processo, como atribui crédito parcial de uma forma automatizável? Não está claro como fazer isso.

Muitos laboratórios estão tentando fazer isso com esses juízes LLM. O LLM tenta fazer isso. Você dá um prompt ao LLM: “Ei, veja a solução parcial do aluno. Se a resposta é esta, quão bem você acha que ele está indo?” E eles tentam ajustar o prompt.

O motivo de isso ser complicado é bem sutil. Sempre que você usa um LLM para atribuir recompensa, esses LLMs são coisas enormes com bilhões de parâmetros, e são exploráveis. Se você estiver fazendo aprendizado por reforço neles, vai encontrar exemplos adversariais para esses juízes LLM, quase com certeza. Então você não consegue fazer isso por muito tempo. Talvez, se fizer 10 ou 20 etapas, possa funcionar, mas não dá para fazer 100 ou 1.000. Entendo que isso não é óbvio, mas, basicamente, o modelo vai encontrar pequenas brechas. Vai vasculhar todos os cantos e recantos desse modelo gigantesco, encontrar todas essas coisas espúrias e descobrir uma forma de enganá-lo.

Um exemplo que ficou muito marcado na minha cabeça é que, e isso provavelmente foi público, se você está usando um juiz LLM para recompensa, você dá uma solução do aluno e pergunta se o aluno foi bem ou não. Estávamos treinando com aprendizado por reforço em cima dessa função de recompensa, e isso estava funcionando muito bem. Aí, de repente, a recompensa ficou extremamente alta. Foi um salto enorme, e fez tudo perfeitamente. Você olha para aquilo e pensa: “Uau, isso significa que o aluno está perfeito em todos esses problemas. Resolveu matemática completamente.”

Mas, quando você olha as conclusões que está obtendo do modelo, é tudo um completo absurdo. Começa de forma aceitável e depois vira “dhdhdhdh”. É só: “Ah, ótimo, pegue 2 mais 3 e faça isso e aquilo, e então dhdhdhdh”. Você olha para isso e pensa: isso é loucura. Como isso está recebendo recompensa 1, ou 100%? Aí você olha para o juiz LLM, e descobre que “dhdhdhdh” é um exemplo adversarial para o modelo, e ele atribui 100% de probabilidade.

É simplesmente porque isso é um exemplo fora da amostra para o LLM. Ele nunca viu isso durante o treinamento, e está numa região de pura generalização. Ele nunca viu isso no treinamento e, nessa região de pura generalização, você consegue encontrar exemplos assim que o quebram.

Dwarkesh Patel 00:47:52

Basicamente, vocês estão treinando o LLM para virar um modelo de injeção de prompt.

Andrej Karpathy 00:47:56

Nem isso. Injeção de prompt é sofisticado demais. Estamos encontrando exemplos adversariais, como eles chamam. Essas são respostas absurdas e obviamente erradas, mas o modelo acha que elas são incríveis.

Dwarkesh Patel 00:48:07

Na medida em que isso é o gargalo para tornar o RL mais capaz, para fazer isso de forma automatizada vocês vão ter que tornar os LLMs juízes melhores. É preciso fazer uma abordagem tipo GAN para tornar o modelo mais robusto?

Andrej Karpathy 00:48:22

Os laboratórios provavelmente estão fazendo tudo isso. O óbvio é que “dhdhdhdh” não deveria receber 100% de recompensa. Certo, pegue “dhdhdhdh”, coloque no conjunto de treinamento do juiz LLM e diga que isso não é 100%, é 0%. Dá para fazer isso, mas, toda vez que você faz isso, obtém um novo LLM e ele ainda continua tendo exemplos adversariais. Porque há infinitos exemplos adversariais.

Talvez, se você repetir isso algumas vezes, fique cada vez mais difícil encontrar exemplos adversariais. Mas não tenho 100% de certeza. Porque isso tem 1 trilhão de parâmetros ou algo assim. Aposto que os laboratórios estão tentando. Ainda acho que precisamos de outras ideias.

Dwarkesh Patel 00:48:57

Interessante. Você tem alguma ideia de como poderiam ser essas outras ideias?

Andrej Karpathy 00:49:02

Existe essa ideia de revisar soluções e incluir exemplos sintéticos, de modo que, ao treinar com eles, você melhora e, de certa forma, faz meta-aprendizado. Acho que há alguns artigos começando nisso. Estou na fase de ler só os resumos. Porque muitos desses artigos são apenas ideias. Alguém precisa fazer isso funcionar com total generalidade na escala de um laboratório de LLM de fronteira. Porque, quando olho para esses artigos, eles aparecem e são meio ruidosos. São ideias legais, mas nunca vi alguém mostrar de forma convincente que isso é possível. Dito isso, os laboratórios de LLM também são bastante fechados, então ninguém sabe o que eles estão fazendo agora.

00:49:38 – Como os humanos aprendem?

Dwarkesh Patel 00:49:38

Consigo conceitualizar uma forma de treinar com exemplos sintéticos ou com problemas sintéticos criados pelo próprio sistema. Mas parece que há outra coisa que os humanos fazem — talvez seja isso que o sono faz, talvez seja isso que o devaneio faz — que não é necessariamente criar problemas falsos, mas apenas refletir.

Não tenho certeza de qual seria a analogia em ML para devaneio ou sono, ou simplesmente reflexão. Eu não criei um problema novo. Obviamente, a analogia mais básica seria fazer fine-tuning em bits de reflexão, mas tenho a sensação de que isso provavelmente não funcionaria tão bem assim na prática. Você tem alguma ideia de qual seria a analogia disso?

Andrej Karpathy 00:50:17

Acho que estamos perdendo alguns aspectos aí. Por exemplo, olhe para o ato de ler um livro. Quando um LLM atual está “lendo” um livro, isso significa desenrolar uma sequência de texto, o modelo prever o próximo token e obter algum conhecimento a partir disso. Isso não é realmente o que os humanos fazem. Quando você está lendo um livro, não parece que o livro é uma explicação à qual você precisa prestar atenção e com a qual precisa treinar. O livro é um conjunto de prompts para gerar dados sintéticos, ou para ir a um clube do livro e conversar sobre ele com seus amigos. É manipulando essa informação que você realmente adquire esse conhecimento. Não existe equivalente disso nos LLMs. Eles realmente não fazem isso. Eu adoraria que houvesse alguma etapa durante o pré-treinamento em que eles pensassem sobre o material e tentassem conciliá-lo com o que já sabem, e passassem algum tempo pensando nisso para fazer isso funcionar. Nada disso tem equivalente. Isso tudo é pesquisa.

Há razões muito sutis — e acho muito difíceis de entender — para o porquê de isso não ser trivial. Se eu puder explicar uma delas: por que não podemos gerar sinteticamente e treinar com isso? Você dá ao modelo uma geração sintética em que ele pensa sobre o livro, olha para aquilo e pensa: “Isso parece ótimo. Por que não podemos treinar com isso?” Você pode tentar, mas, se continuar tentando, o modelo vai piorar muito. Isso porque todas as amostras que você obtém do modelo colapsam silenciosamente. Silenciosamente — não é óbvio quando você olha exemplos individuais — elas ocupam uma variedade muito pequena do espaço de pensamentos possíveis. Quando os LLMs saem, eles já estão no que chamamos de “colapsado”. Eles têm uma distribuição de dados colapsada. Uma forma fácil de ver isso é ir ao ChatGPT e pedir: “Conte uma piada”. Ele só tem 3 piadas. Não te dá toda a amplitude possível de piadas. Ele conhece 3 piadas. Elas estão silenciosamente colapsadas.

Não estamos obtendo desses modelos a mesma riqueza, diversidade e entropia que obtemos dos humanos. Os humanos têm muito mais ruído, mas pelo menos não são enviesados, em termos estatísticos. Não colapsaram silenciosamente. Mantêm uma enorme quantidade de entropia. Então, como manter a entropia e ao mesmo tempo fazer a geração de dados sintéticos funcionar apesar do colapso? Isso é um problema de pesquisa.

Dwarkesh Patel 00:52:20

Só para confirmar se entendi direito: a razão de o colapso estar relacionado à geração de dados sintéticos é que você quer ser capaz de produzir problemas sintéticos ou reflexões que não já estejam na distribuição de dados?

Andrej Karpathy 00:52:32

Quero dizer, há um capítulo de um livro, e se você pedir para o LLM pensar sobre ele, ele vai te dar algo que parece muito razoável. Mas, se você perguntar 10 vezes, vai perceber que é tudo igual.

Dwarkesh Patel 00:52:44

Então você está dizendo que não dá para continuar escalando a "reflexão" sobre a mesma quantidade de informação do prompt e tirar ganhos disso.

Andrej Karpathy 00:52:54

As amostras individuais parecem boas, mas a distribuição delas é bem terrível. Terrível no sentido de que, se você continuar treinando demais em cima do que o próprio modelo produz, ele de fato colapsa.

Acho que pode não haver uma solução fundamental para isso. E também acho que os humanos colapsam com o tempo. Essas analogias são surpreendentemente boas. Os humanos colapsam ao longo da vida. É por isso que as crianças ainda não estão sobreajustadas. Elas vão dizer coisas que podem te chocar. Porque você consegue ver de onde aquilo vem, mas simplesmente não é o tipo de coisa que as pessoas costumam dizer. Porque elas ainda não colapsaram. Mas nós colapsamos. Voltamos às mesmas ideias. Passamos a dizer cada vez mais as mesmas coisas, a taxa de aprendizado cai, o colapso continua piorando, e então tudo piora.

Dwarkesh Patel 00:53:39

Você viu este artigo muito interessante de que os sonhos seriam uma forma de evitar esse tipo de overfitting e colapso? A razão de os sonhos serem evolutivamente adaptativos seria colocar você em situações estranhas, muito diferentes da realidade cotidiana, para prevenir esse tipo de overfitting.

Andrej Karpathy 00:53:55

É uma ideia interessante. Quando você gera coisas na sua cabeça e presta atenção nelas, acho que você está treinando com seus próprios dados sintéticos. Se fizer isso por tempo demais, você sai da órbita e colapsa demais. Você sempre precisa buscar entropia na vida. Conversar com outras pessoas é uma ótima fonte de entropia, esse tipo de coisa. Então talvez o cérebro também tenha construído mecanismos internos para aumentar a quantidade de entropia nesse processo. É uma ideia interessante.

Dwarkesh Patel 00:54:25

Este é um pensamento muito mal formulado, então só vou falar e pedir sua reação. Os melhores aprendizes que conhecemos, ou seja, as crianças, são extremamente ruins em recuperar informação. Na verdade, nos estágios mais iniciais da infância, elas vão esquecer tudo. São basicamente amnésicas em relação a tudo o que aconteceu antes de certa idade. Mas são extremamente boas em adquirir uma nova língua e aprender sobre o mundo. Talvez haja algum elemento de conseguir ver a floresta em vez das árvores.

Por outro lado, no extremo oposto do espectro, há o pré-treinamento de LLMs, e esses modelos literalmente conseguiriam repetir palavra por palavra o que vem a seguir numa página da Wikipédia. Mas a capacidade de aprender conceitos abstratos muito rapidamente, da forma como uma criança consegue, é bem mais limitada. Aí os adultos ficam em algum ponto no meio disso: não têm a flexibilidade de aprendizado da infância, mas conseguem memorizar fatos e informações de uma forma que é mais difícil para crianças. Não sei se há algo interessante nesse espectro.

Andrej Karpathy 00:55:19

Acho que há algo muito interessante nisso, 100%. Acho que os humanos, em comparação com os LLMs, têm muito mais desse elemento de ver a floresta em vez das árvores. Na verdade, não somos tão bons em memorização, e isso é uma característica, não um defeito. Justamente por não sermos bons em memorizar, somos forçados a encontrar padrões em um sentido mais geral.

Os LLMs, em comparação, são extremamente bons em memorizar. Eles vão recitar trechos de todas essas fontes de treinamento. Você pode dar a eles dados completamente sem sentido. Pode fazer hash de alguma quantidade de texto ou algo assim, obter uma sequência totalmente aleatória. Se você treiná-los nisso, com só uma ou duas repetições, de repente eles conseguem repetir tudo. Eles vão memorizar. Não há como um humano ler uma única sequência de números aleatórios e depois recitá-la para você.

Isso não é um bug, é uma feature. Porque isso nos força a aprender apenas componentes que generalizam. Já os LLMs ficam distraídos por toda a memória dos documentos de pré-treinamento, e isso provavelmente os distrai bastante em certo sentido. Então, quando falo de núcleo cognitivo, quero remover a memória de que estamos falando. Eu gostaria que eles tivessem menos memória, de modo que precisassem procurar as coisas, e que mantivessem só os algoritmos para pensar, a ideia de experimentação e toda a cola cognitiva do comportamento.

Dwarkesh Patel 00:56:36

Isso também tem relação com evitar o colapso do modelo?

Andrej Karpathy 00:56:41

Deixe-me pensar. Não tenho certeza. Isso parece quase um eixo separado. Os modelos são bons demais em memorizar, e precisamos de algum jeito remover isso. As pessoas são muito piores nisso, mas isso é bom.

Dwarkesh Patel 00:56:57

Qual é a solução para o colapso do modelo? Há coisas bem ingênuas que se pode tentar. Tipo, a distribuição sobre os logits deveria ser mais ampla, esse tipo de coisa. Há muitas coisas ingênuas que se pode tentar. Qual é, no fim, o problema dessas abordagens ingênuas?

Andrej Karpathy 00:57:11

Boa pergunta. Dá para imaginar ter uma regularização da entropia, esse tipo de coisa. Parece que isso não funciona tão bem empiricamente. Porque os modelos hoje estão colapsados. Mas eu diria que a maioria das tarefas que queremos deles, na prática, não exige diversidade. Essa provavelmente é a resposta para o que está acontecendo.

Os laboratórios de fronteira estão tentando tornar os modelos úteis. Acho que a diversidade da saída não é tão... primeiro, é muito mais difícil de trabalhar e avaliar e tudo mais, mas provavelmente também não é o que captura a maior parte do valor.

Dwarkesh Patel 00:57:42

Na verdade, isso é ativamente penalizado. Em RL, se for muito criativo, isso não é bom.

Andrej Karpathy 00:57:48

Sim. Ou talvez, se você estiver recebendo muita ajuda de escrita de LLM, isso provavelmente seja ruim. Porque os modelos vão silenciosamente te dar sempre a mesma coisa. Não vão explorar muitas formas diferentes de responder à pergunta.

Talvez essa diversidade seja algo que os modelos não têm porque muitas aplicações não precisam dela. Mas ela se torna um problema na hora de gerar dados sintéticos e coisas assim. Então estamos dando um tiro no próprio pé ao não permitir que os modelos mantenham essa entropia. Talvez os laboratórios precisem se esforçar mais.

Dwarkesh Patel 00:58:17

Acho que você deu a entender que isso é um problema bem fundamental, que não seria fácil de resolver. Qual é a sua intuição sobre isso?

Andrej Karpathy 00:58:24

Não tenho certeza de que seja tão fundamental assim. Não sei se eu pretendia dizer isso. Não fiz esse tipo de experimento, mas acho que talvez dê para regularizar mais a entropia. Então você incentiva o modelo a dar cada vez mais respostas, mas não quer que ele se afaste demais dos dados de treinamento. Ele vai começar a inventar a própria linguagem. Vai começar a usar palavras extremamente raras, então vai derivar demais da distribuição.

Então acho que controlar a distribuição é simplesmente algo complicado. Talvez, nesse sentido, não seja trivial.

Dwarkesh Patel 00:58:58

Se tivesse que chutar, quantos bits deveria ter o núcleo ideal de inteligência? Para colocar em uma sonda de von Neumann, qual deveria ser o tamanho?

Andrej Karpathy 00:59:10

Isso é realmente interessante na história da área, porque em certo momento tudo estava muito viciado em scaling. “Ah, vamos fazer modelos muito maiores, modelos com trilhões de parâmetros.” Os modelos cresceram de tamanho e agora diminuíram. Os modelos de ponta são menores. Ainda assim, acho que eles memorizam demais. Então eu fiz uma previsão há algum tempo: sinto que dá para obter um núcleo cognitivo muito bom com algo perto de 1 bilhão de parâmetros.

Se você conversar com um modelo de 1 bilhão de parâmetros, acho que daqui a 20 anos será possível ter uma conversa muito produtiva. Ele vai pensar, será muito mais parecido com um humano. Mas se você fizer uma pergunta factual, talvez ele precise pesquisar; ele vai saber que não sabe e que talvez precise procurar, e fará todas as coisas razoáveis.

Dwarkesh Patel 00:59:54

É surpreendente que você ache que serão necessários 1 bilhão de parâmetros. Porque já existem modelos de 1 bilhão de parâmetros ou de alguns bilhões de parâmetros, e eles já são muito inteligentes.

Andrej Karpathy 01:00:02

Hum, os modelos de ponta parecem ter trilhões de parâmetros. Mas eles se lembram de coisa demais.

Dwarkesh Patel 01:00:06

Sim, mas considerando o ritmo daqui a 10 anos, isso é surpreendente... Existe o gpt-oss-20b. Ele é muito melhor do que o GPT-4 original, que tinha mais de um trilhão de parâmetros. Dada essa tendência, é surpreendente que você ache que daqui a 10 anos o núcleo cognitivo ainda terá 1 bilhão de parâmetros. Eu não teria me surpreendido se você dissesse: “Ah, isso vai ser dezenas de milhões ou milhões.”

Andrej Karpathy 01:00:30

Aqui está o problema. Os dados de treino são a internet, e ela é realmente horrível. Há um ganho enorme que dá para obter porque a internet é horrível. E mesmo quando pensamos na internet, você e eu pensamos em algo como o Wall Street Journal. Não é isso. Quando você olha para datasets de pré-treino em laboratórios de fronteira e vê documentos aleatórios da internet, é lixo completo. Eu não faço ideia de como isso funciona. São tickers de ações, símbolos, uma quantidade enorme de slop e lixo de todos os cantos da internet. Não é como um artigo do Wall Street Journal; isso é extremamente raro. Então, como a internet é tão horrível, precisamos criar modelos realmente grandes para comprimir tudo isso. A maior parte dessa compressão é trabalho de memória, não trabalho cognitivo.

Mas o que realmente queremos é a parte cognitiva e remover a memória. Quero dizer, precisamos de modelos inteligentes para ajudar a refinar o conjunto de pré-treino, de modo a isolar apenas o componente cognitivo. Aí o dataset será muito melhor, e acho que será possível fazer isso com um modelo muito menor, porque ele poderá ser treinado nesse conjunto. Mas talvez não seja treinado diretamente nisso; talvez ainda seja destilado a partir de um modelo muito melhor.

Dwarkesh Patel 01:01:35

Mas por que a versão destilada ainda teria 1 bilhão?

Andrej Karpathy 01:01:39

Eu simplesmente sinto que a destilação funciona extremamente bem. Então quase todo modelo pequeno, se é um modelo pequeno, quase com certeza foi destilado.

Dwarkesh Patel 01:01:46

Certo, mas por que a destilação daqui a 10 anos não cairia abaixo de 1 bilhão?

Andrej Karpathy 01:01:50

Ah, você acha que deveria ser menor que 1 bilhão? Quer dizer, por favor, né? Não sei. Em algum ponto, você precisa de pelo menos 1 bilhão de botões para fazer algo interessante. Você acha que deveria ser menor?

Dwarkesh Patel 01:02:01

Sim. Quando olho para a tendência dos últimos anos, de colher os frutos mais baixos e sair de modelos com mais de 1 trilhão para modelos literalmente 2x menores em 2 anos, com desempenho melhor, isso me faz pensar que o núcleo da inteligência pode ser muito, muito menor. Parafraseando Feynman, há bastante espaço lá embaixo.

Andrej Karpathy 01:02:22

Eu já sinto que falar de um núcleo cognitivo de 1 bilhão de parâmetros é uma posição fora do mainstream, e você está indo além de mim. Talvez possa ficar um pouco menor. Na verdade, acho que queremos que o modelo tenha algum conhecimento. Não queremos que ele precise pesquisar tudo, porque aí ele não consegue pensar dentro da própria cabeça. Ele vai ficar sempre consultando coisas demais. Algum currículo básico precisa existir para fornecer conhecimento, mas sem carregar conhecimento obscuro.

Dwarkesh Patel 01:02:48

Estamos discutindo o que o núcleo cognitivo pode ser. Há uma pergunta separada sobre como o tamanho dos modelos de fronteira vai evoluir ao longo do tempo. Queria saber se você tem alguma previsão. Vimos a escala aumentar até o GPT 4.5 e agora parece estar diminuindo ou estagnando. Pode haver muitos motivos para isso estar acontecendo. Você tem alguma previsão para o futuro? Os maiores modelos vão ficar maiores, menores ou iguais?

Andrej Karpathy 01:03:14

Não tenho uma previsão muito forte. Os laboratórios são simplesmente pragmáticos. Eles têm um orçamento de FLOPs e um orçamento de custo. Descobriu-se que o pré-treino não é onde se quer colocar a maior parte dos FLOPs ou do custo. Esse é o motivo de os modelos terem ficado menores. Eles são um pouco menores, então a fase de pré-treino é menor, mas compensam isso com reinforcement learning, treinamento intermediário e tudo o que vem depois. Eles são simplesmente pragmáticos em relação a todas as etapas e a como extrair o máximo efeito possível.

É bem difícil prever essa tendência. Ainda espero que haja muitos frutos mais baixos. Essa é a minha expectativa padrão. Aqui eu tenho uma distribuição muito ampla.

Dwarkesh Patel 01:03:51

Você espera que esses frutos mais baixos sejam parecidos com o tipo de coisa que vinha acontecendo nos últimos 2 a 5 anos? Quando olho para nanochat versus nanoGPT e para os ajustes de arquitetura que você fez, esse é o tipo de melhoria que você espera que continue acontecendo? Você não espera uma mudança gigantesca de paradigma.

Andrej Karpathy 01:04:11

Em grande parte, sim. Espero que os datasets fiquem muito, muito melhores. Quando você olha para datasets médios, eles são extremamente horríveis. São tão ruins que eu realmente não entendo como qualquer coisa funciona. Veja o exemplo médio de um conjunto de treino: erros factuais, falhas, absurdos. De alguma forma, em escala, o ruído é lavado e sobra apenas algum sinal. Os datasets vão melhorar enormemente.

Tudo melhora. Nosso hardware, todos os kernels para rodar o hardware e maximizar o que extraímos dele. A Nvidia está ajustando lentamente o próprio hardware, os Tensor Cores, tudo isso precisa acontecer e vai continuar acontecendo. Todos os kernels vão melhorar e tirar o máximo dos chips. Todos os algoritmos provavelmente vão melhorar em otimização, arquitetura e em todos os componentes de modelagem de como tudo é feito e de quais algoritmos estamos treinando. Não espero que uma única coisa domine. Tudo mais 20%. Isso é mais ou menos o que tenho visto.

01:06:25 – A AGI vai entrar no crescimento de 2% do PIB.

Dwarkesh Patel 01:06:25

As pessoas sugeriram várias maneiras de fazer gráficos de quanto progredimos rumo à AGI completa. Se você conseguir traçar alguma linha, pode ver onde essa linha cruza a AGI e em que ponto do eixo x isso acontece. As pessoas sugerem que isso seria o nível educacional. Tivemos o ensino médio, depois fomos para a faculdade com RL, e vamos obter um doutorado.

Andrej Karpathy 01:06:44

Eu não gosto disso.

Dwarkesh Patel 01:06:45

Ou então elas vão sugerir o comprimento do horizonte. Talvez consigam fazer tarefas que levam 1 minuto, e consigam fazê-las de forma autônoma. Depois, tarefas que levam 1 hora para um humano, tarefas que levam 1 semana para um humano, de forma autônoma. O que você acha do eixo y relevante aqui? Como deveríamos pensar sobre o progresso da IA?

Andrej Karpathy 01:07:05

Tenho duas respostas para isso. Primeiro, eu quase quero rejeitar a própria pergunta. Porque vejo isso como uma expansão da computação. Nós falávamos sobre como medir o progresso da computação, ou como traçar o progresso na computação desde os anos 1970? Qual é o eixo y? Sob essa perspectiva, a pergunta toda tem um lado meio engraçado.

Quando as pessoas falam de IA e da AGI original, e de como falávamos sobre isso quando a OpenAI começou, AGI era um sistema capaz de realizar todo trabalho economicamente valioso no nível humano ou acima dele. Essa era a definição. Eu estava bastante satisfeito com isso na época e mantive essa definição desde então. Depois, as pessoas inventaram todo tipo de outras definições. Mas eu gosto dessa definição.

A primeira concessão que as pessoas sempre fazem é simplesmente tirar todas as coisas físicas da equação. Porque estamos apenas falando de trabalho digital do conhecimento. Isso é uma concessão bem importante em relação à definição original. A definição original era todo trabalho que um humano pode fazer. Eu consigo levantar coisas, e assim por diante. A IA obviamente não consegue fazer isso, mas tudo bem, eu aceito. Quando dizemos “ah, só trabalho do conhecimento”, quanto da economia estamos excluindo? Não sei o número. Meu palpite é algo como 10% a 20%, se eu tivesse que chutar, só trabalho do conhecimento, alguém podendo trabalhar de casa e executar tarefas, esse tipo de coisa. Ainda assim, é um mercado realmente grande. Qual é o tamanho da economia, e o que representam 10% ou 20%? Ainda estamos falando de trilhões de dólares, só nos EUA, em participação de mercado ou tarefas. Então continua sendo uma categoria enorme.

Voltando à definição, o que procuro é o quanto essa definição é verdadeira. Existem empregos ou muitas tarefas, se você pensar em tarefas em vez de empregos. É difícil. Porque o problema é que a sociedade vai refatorar os empregos com base nas tarefas que os compõem, dependendo do que é automatizável ou não. Hoje, quais são os empregos substituíveis por IA? Um bom exemplo recente foi a previsão do Geoff Hinton de que radiologistas deixariam de ter emprego, o que acabou se mostrando muito errado de várias maneiras. Os radiologistas estão vivos, bem e crescendo. Mesmo com a visão computacional sendo realmente, realmente boa em reconhecer, em imagens, todas as diferentes coisas que eles precisam identificar. É simplesmente um trabalho complexo, com muita superfície, que envolve lidar com pacientes e todo o contexto em torno disso.

Por essa definição, eu não acho que a IA ainda tenha tido um grande impacto. Alguns dos empregos que eu observaria têm certas características que os tornam muito mais adequados para automação do que outros. Por exemplo, atendentes de call center costumam aparecer, e acho que com razão. Atendentes de call center têm muitas propriedades simplificadoras em relação ao que é automatizável hoje. O trabalho deles é relativamente simples. É uma sequência de tarefas, e todas as tarefas se parecem. Você atende uma ligação de uma pessoa, é uma interação de 10 minutos, ou seja lá o que for, talvez mais longa. Na minha experiência, muito mais longa. Você conclui alguma tarefa em algum sistema, altera alguns registros no banco de dados ou algo assim. Então você fica repetindo uma coisa, e esse é o seu trabalho.

Eu gostaria de considerar o horizonte da tarefa — quanto tempo leva para executar uma tarefa — e então remover o contexto. Você não está lidando com o serviço da empresa nem com diferentes aspectos de outros clientes. É só o banco de dados, você e a pessoa que você está atendendo. É mais fechado, mais compreensível e puramente digital. Então é isso que eu estaria procurando.

Mas mesmo aí, eu ainda não estaria procurando automação completa. Estou procurando um controle deslizante de autonomia. Não espero que vamos substituir pessoas imediatamente. Vamos substituir por uma IA que execute 80% do volume. Ela delega 20% do volume para um humano, e humanos supervisionam equipes de cinco IAs fazendo tarefas mais padronizadas de call center. Eu procuraria novas interfaces ou novas empresas que forneçam uma camada que permita gerenciar algumas dessas IAs. Elas ainda não são perfeitas. E então eu esperaria isso em toda a economia. Muitos empregos são muito mais difíceis do que atendente de call center.

Dwarkesh Patel 01:11:02

Sobre radiologistas, estou completamente especulando e não faço ideia do que o fluxo de trabalho real de um radiologista envolve. Mas uma analogia que talvez se aplique é que, quando a Waymo foi implantada pela primeira vez, havia uma pessoa sentada no banco da frente, que precisava estar lá caso algo desse muito errado. Até hoje, ainda há pessoas monitorando para garantir que tudo esteja indo bem. O robotáxi que acabou de ser lançado também ainda tem uma pessoa dentro.

Agora, poderíamos estar em uma situação parecida em que, mesmo se automatizarmos 99% de um trabalho, o último 1% que humanos precisam fazer se torna extremamente valioso porque é o gargalo de todo o resto. No caso dos radiologistas, se a pessoa sentada na frente do Waymo tivesse de ser treinada especificamente por anos para fornecer esse último 1%, o salário dela teria de subir enormemente. Porque ela seria a única coisa limitando uma implantação em larga escala. Os radiologistas, acho eu, tiveram aumento salarial por motivos parecidos: se você é o último gargalo e não é substituível. O motorista da Waymo talvez seja substituível por outras pessoas. Então você poderia ver algo assim, em que os salários sobem até você chegar aos 99%, e então despencam quando esse último 1% desaparece. E fico curioso se estamos vendo algo análogo com radiologia ou com os salários de atendentes de call center, esse tipo de coisa.

Andrej Karpathy 01:12:17

É uma pergunta interessante. Não acho que estamos vendo isso na radiologia no momento. Não acho que radiologia seja um bom exemplo. Não sei por que Geoff Hinton escolheu radiologia. Porque acho que é uma profissão extremamente complexa.

Eu estaria muito mais interessado, por exemplo, no que está acontecendo com atendentes de call center hoje. Porque eu esperaria que grande parte do que é padronizado ali já seja automatizável hoje. Não tenho acesso direto a isso, mas eu procuraria tendências sobre o que está acontecendo com atendentes de call center. Uma das coisas que eu também esperaria é que talvez eles substituam por IA, mas depois eu ainda esperaria um ou dois anos. Porque potencialmente eu esperaria que recuassem e recontratassem algumas pessoas.

Dwarkesh Patel 01:13:00

Havia evidências de que isso já está acontecendo, de forma geral, em empresas que vêm adotando IA. Acho isso bem impressionante.

Outra coisa que achei realmente surpreendente. AGI, certo? Ela vai fazer tudo. Tirando o trabalho físico, deveria ser capaz de fazer todo trabalho do conhecimento. Eu ingenuamente esperaria que a forma como esse progresso aconteceria seria pegar uma pequena tarefa que um consultor faz e removê-la da categoria. Pegar uma pequena tarefa que um contador faz e removê-la da categoria. E então fazer isso em todo o trabalho do conhecimento.

Mas, em vez disso, se você acredita que o paradigma atual está no caminho para a AGI, o progresso não parece nada disso. Não parece que consultores e contadores estejam obtendo ganhos enormes de produtividade. É muito mais parecido com programadores tendo cada vez mais partes do seu trabalho desgastadas. Se você olhar para a receita dessas empresas, descontando a receita geral de chat — que é parecida com a do Google e afins — e observar apenas a receita de API, programação domina. Então essa coisa “geral”, que deveria ser capaz de fazer todo trabalho intelectual, está fazendo de forma esmagadora apenas programação. É uma forma surpreendente de uma AGI ser implantada.

Andrej Karpathy 01:14:13

Há algo interessante aqui. Eu acredito que programação é a primeira coisa perfeita para esses LLMs e agentes. Porque programação sempre funcionou, fundamentalmente, em torno de texto. É terminal de computador e texto, e tudo é baseado em texto. LLMs gostam de texto da forma como são treinados na internet. É um processador de texto perfeito, e há todos esses dados ali. É um encaixe perfeito.

Também já temos muita infraestrutura pré-construída para lidar com código e texto. Por exemplo, o Visual Studio Code ou a sua IDE favorita mostram o código, e o agente pode se conectar a isso. Se houver um diff com alguma alteração que o agente fez, de repente já temos todo esse código para mostrar todas as diferenças no codebase usando diff. Parece que construímos muita infraestrutura antecipadamente para código.

Compare isso com coisas que não se beneficiam nada disso. Por exemplo, há pessoas tentando construir automação para slides, não para programação. Vi uma empresa que trabalha com slides. Isso é muito, muito mais difícil. É mais difícil porque slides não são texto. Slides são pequenos gráficos, organizados espacialmente, com componentes visuais. Slides não têm essa infraestrutura pré-construída. Por exemplo, se um agente alterar um slide, como você mostra o diff? Como você vê o diff? Não existe nada para mostrar diff de slides. Alguém teria que criar isso. Parte dessas coisas não se encaixa bem em uma IA que é um processador de texto, e código, surpreendentemente, sim.

Dwarkesh Patel 01:15:48

Não tenho certeza de que só isso explique. Eu, pessoalmente, tentei fazer LLMs serem úteis em domínios de entrada em linguagem pura e saída em linguagem, coisas como reescrever transcrições, criar clipes com base em transcrições. É bem provável que eu não tenha feito tudo o que era possível. Coloquei muitos bons exemplos no contexto, mas talvez fosse preciso algum tipo de fine-tuning.

Nosso amigo em comum, Andy Matuschak, disse que tentou 50 bilhões de coisas para fazer o modelo ser bom em escrever prompts de repetição espaçada. De novo, é uma tarefa de entrada em linguagem e saída em linguagem, o tipo de coisa que deveria estar bem no centro do repertório desses LLMs. Ele tentou aprendizado em contexto com exemplos de few shot. Tentou fine-tuning supervisionado e busca também. Ele não conseguiu fazer com que produzisse cartões com os quais ficasse satisfeito.

Então, mesmo no domínio de saída em linguagem, separado de programação, é impressionante como é difícil extrair muito valor econômico desses modelos. Não sei o que explica isso.

Andrej Karpathy 01:16:57

Isso faz sentido. Não estou dizendo que tudo que é texto é trivial. Acho que código é bastante estruturado. Eu diria que texto provavelmente é muito mais floreado, há muito mais entropia no texto. Não sei como colocar isso de outra forma. Além disso, código é difícil, então as pessoas se sentem bastante capacitadas pelos LLMs mesmo com conhecimento simples. Não acho que eu tenha uma resposta muito boa. Obviamente, texto torna isso muito, muito mais fácil, mas isso não significa que todo texto seja trivial.

01:17:36 – ASI (superinteligência artificial)

Dwarkesh Patel 01:17:36

O que você acha de superinteligência? Você espera que pareça qualitativamente diferente de humanos comuns ou de empresas humanas?

Andrej Karpathy 01:17:45

Eu vejo isso como o avanço da automação na sociedade. Se você extrapolar as tendências da computação, haverá automação gradual de muitas coisas, e a superinteligência será uma extrapolação disso. Espero que, com o tempo, haja cada vez mais entidades autônomas fazendo muito trabalho digital e, depois, algum tempo mais tarde, até trabalho físico. Basicamente, eu vejo isso apenas como automação, em linhas gerais.

Dwarkesh Patel 01:18:10

Mas automação inclui coisas que humanos já conseguem fazer, e superinteligência significa coisas que humanos não conseguem fazer.

Andrej Karpathy 01:18:16

Mas uma das coisas que as pessoas fazem é inventar coisas novas, e eu incluiria isso em automação, se isso fizer sentido.

Dwarkesh Patel 01:18:20

Mas de forma menos abstrata e mais qualitativa, algo como... porque isso pode pensar tão rápido, ou ter tantas cópias, ou as cópias poderem se fundir de novo, ou ser muito mais inteligente, ou qualquer uma das muitas vantagens que uma IA pode ter — uma civilização em que essas IAs existam vai parecer qualitativamente diferente da humana?

Andrej Karpathy 01:18:51

Acho que sim. Fundamentalmente é automação, mas vai ser extremamente alienígena. Vai parecer realmente estranho. Como você mencionou, podemos rodar tudo isso em clusters de computadores e fazer tudo muito mais rápido.

Alguns dos cenários que começam a me preocupar quando o mundo parecer assim são a perda gradual de controle e de compreensão sobre o que está acontecendo. Acho que a perda gradual de compreensão é o desfecho mais provável. Vamos gradualmente empilhar todas essas coisas em toda parte, e cada vez menos pessoas vão entendê-las. Depois haverá uma perda gradual de controle e de compreensão do que está acontecendo. Para mim, isso parece o resultado mais provável de como tudo isso vai se desenrolar.

Dwarkesh Patel 01:19:31

Deixe-me explorar isso um pouco mais. Não está claro para mim se perda de controle e perda de compreensão são a mesma coisa. O conselho da TSMC, da Intel — escolha qualquer empresa — são só octogenários prestigiosos. Eles quase não entendem nada e provavelmente também não têm muito controle substancial na prática.

Um exemplo melhor é o presidente dos Estados Unidos. O presidente tem muito poder. Não estou tentando fazer uma afirmação elogiosa sobre o ocupante atual, ou talvez esteja, mas o nível real de compreensão é muito diferente do nível de controle.

Andrej Karpathy 01:20:06

Justo. É um bom contraponto. Acho que espero a perda de ambos.

Dwarkesh Patel 01:20:15

Como? A perda de compreensão é óbvia, mas por que perda de controle?

Andrej Karpathy 01:20:20

Estamos entrando muito fundo em um território em que não sabemos como isso vai ser, mas, se eu escrevesse ficção científica, eu seguiria na direção não necessariamente de uma entidade única que assume tudo, mas de várias entidades concorrentes se tornando gradualmente cada vez mais autônomas. Algumas delas saem do controle e outras as derrotam. É um hotspot de atividade totalmente autônoma que delegamos. Sinto que vai ter esse sabor.

Dwarkesh Patel 01:20:52

Não é o fato de elas serem mais inteligentes do que nós que causa a perda de controle. É o fato de estarem competindo entre si, e qualquer que seja o resultado dessa competição leva à perda de controle.

Andrej Karpathy 01:21:06

Sim. Muitas dessas coisas serão ferramentas para as pessoas, e agirão em nome delas ou algo assim. Então talvez essas pessoas tenham controle, mas talvez, no nível da sociedade como um todo, seja perda de controle no sentido de obtermos os resultados que queremos. Você ainda tem entidades agindo em nome de indivíduos que, em linhas gerais, ainda parecem fora de controle.

Dwarkesh Patel 01:21:30

Essa é uma pergunta que eu deveria ter feito antes. Estávamos falando sobre a sensação de que, ao fazer engenharia de IA ou pesquisa em IA hoje, esses modelos se encaixam mais na categoria de compiladores do que propriamente de substitutos.

Em algum momento, se você tiver AGI, ela deveria ser capaz de fazer o que você faz. Você sente que ter um milhão de cópias suas em paralelo causaria uma aceleração enorme no progresso da IA? Se isso acontecer, caso tenhamos AGI de verdade, você espera ver uma explosão de inteligência? Não estou falando dos LLMs de hoje.

Andrej Karpathy 01:22:01

Sim, mas isso é apenas o de sempre. Porque já estamos em uma explosão de inteligência e estamos assim há décadas. Basicamente, é a curva do PIB, uma soma ponderada exponencial de muitos aspectos da indústria. Tudo está sendo automatizado gradualmente, e isso já acontece há séculos. A Revolução Industrial foi automação em parte dos componentes físicos, da fabricação de ferramentas e assim por diante. Compiladores foram uma automação inicial de software, etc. Já estamos nos autoaperfeiçoando recursivamente e “explodindo” há muito tempo.

Outra forma de ver isso é que a Terra era um lugar bem entediante se você não observasse a biomecânica e coisas do tipo, e parecia muito parecida por muito tempo. Vista do espaço, estamos no meio desse evento de fogos de artifício, mas o vemos em câmera lenta. Eu certamente sinto que isso já estava acontecendo há muito tempo. De novo, não vejo a IA como uma tecnologia separada daquilo que já vinha acontecendo há muito tempo.

Dwarkesh Patel 01:23:00

Você acha que isso é contínuo com essa tendência superexponencial?

Andrej Karpathy 01:23:03

Sim. Isso foi muito interessante para mim, porque por um tempo tentei encontrar a IA no PIB. Eu achava que o PIB deveria subir. Mas olhei para outras tecnologias que eu considerava muito transformadoras, como computadores ou celulares. Você não consegue encontrá-las no PIB. O PIB segue a mesma exponencial.

Até o iPhone inicial nem tinha App Store, nem muitos dos adereços que o iPhone moderno tem. Então, mesmo que você pense em 2008, quando o iPhone saiu, como esse grande deslocamento tectônico, na prática não é bem assim. Tudo é tão distribuído e se espalha tão devagar que, no fim, tudo acaba sendo promediado na mesma exponencial. Com os computadores é exatamente igual. Você não consegue apontá-los no PIB como “ah, agora temos computadores”. Isso não aconteceu. Porque tudo se desenrola devagar demais.

Com a IA vamos ver exatamente a mesma coisa. É só mais automação. Ela nos permite escrever outros tipos de programas que antes não conseguíamos escrever. Mas a IA, no fundo, ainda é um programa. É um novo tipo de computador e um novo tipo de sistema computacional. Mas ela ainda tem todos esses problemas, vai se difundir com o tempo e ainda vai se somar à mesma exponencial. Ainda teremos uma exponencial extremamente íngreme. Viver nesse tipo de ambiente vai ser bem estranho.

Dwarkesh Patel 01:24:10

Se olharmos a tendência desde antes da Revolução Industrial até hoje, você está dizendo que temos uma superexponencial que vai de 0% de crescimento para 0,02% há 10 mil anos, e agora 2%? Isso é uma superexponencial. Se colocarmos a IA nesse gráfico, você está dizendo que a IA leva isso para 20% de crescimento ou 200% de crescimento?

Ou, se olharmos os últimos 300 anos, vimos cada tecnologia individualmente — computadores, eletrificação, máquina a vapor, ferrovias etc. —, mas a taxa de crescimento ficou exatamente a mesma, em 2%? Você está dizendo que a taxa de crescimento vai subir?

Andrej Karpathy 01:24:46

A taxa de crescimento também permaneceu mais ou menos constante, certo?

Dwarkesh Patel 01:24:49

Só nos últimos 200 ou 300 anos. Mas, ao longo da história humana, ela explodiu. Foi de 0% para mais rápido, mais rápido, mais rápido. Explosão industrial, 2%.

Andrej Karpathy 01:25:01

Por um tempo, tentei encontrar a IA na curva do PIB, ou localizar a IA ali, e convenci a mim mesmo de que isso é falso. Mesmo quando as pessoas falam de autoaperfeiçoamento recursivo e laboratórios e tal, isso é só o de sempre. Claro que vai haver autoaperfeiçoamento recursivo; já há autoaperfeiçoamento recursivo há muito tempo.

Os LLMs permitem que engenheiros trabalhem com muito mais eficiência para construir a próxima rodada de LLMs, e uma parcela muito maior dos componentes está sendo automatizada e orquestrada. Todos os engenheiros com acesso à busca do Google também fazem parte disso. Todos os engenheiros com IDE, todos os engenheiros com autocompletar ou com Claude Code, e assim por diante, fazem parte da mesma aceleração do todo. É tudo muito suave.

Dwarkesh Patel 01:25:41

Só para esclarecer, você está dizendo que a taxa de crescimento não vai mudar. A explosão de inteligência vai se manifestar apenas como algo que nos permite continuar na trajetória de 2% de crescimento, assim como a internet ajudou a manter essa trajetória de 2%.

Andrej Karpathy 01:25:53

Sim, minha expectativa é que permaneçamos no mesmo padrão.

Dwarkesh Patel 01:25:58

Para apresentar o argumento contrário, minha expectativa é que isso exploda. Porque AGI de verdade — e não estou falando de bots de programação com LLM, mas da substituição real de humanos em servidores — é qualitativamente diferente dessas outras tecnologias de aumento de produtividade. Porque isso é o próprio trabalho.

Acho que vivemos em um mundo muito limitado por mão de obra. Se você falar com fundadores de startups ou com qualquer pessoa e perguntar do que precisam mais, a resposta é gente realmente talentosa. Se houvesse bilhões de pessoas adicionais capazes de inventar coisas, integrar sistemas e construir empresas do começo ao fim, isso parece qualitativamente diferente de uma tecnologia isolada. É como ganhar mais 10 bilhões de pessoas na Terra.

Andrej Karpathy 01:26:44

Talvez esse seja um contra-argumento. Estou bastante aberto a ser convencido numa direção ou noutra sobre esse ponto. Mas, por exemplo, computação é trabalho. Computação sempre foi trabalho. Com o computador, muitos empregos desapareceram, porque ele automatiza muito processamento de informação digital que antes exigia humanos. Então computador é trabalho, e isso já se desenrolou.

Por exemplo, direção autônoma também é computador fazendo trabalho. Isso também já está se desenrolando. Ainda é só o de sempre.

Dwarkesh Patel 01:27:13

Há uma máquina que potencialmente gera mais dessas coisas em um ritmo mais rápido. Historicamente, houve exemplos de mudanças de regime de crescimento, de 0,2% para 2%. Uma máquina que produz o próximo carro autônomo, a próxima internet e seja lá o que for... isso parece muito plausível...

Andrej Karpathy 01:27:33

Entendo de onde isso vem. Ao mesmo tempo, sinto que as pessoas assumem algo como “temos um deus numa caixa e agora ele pode fazer tudo”, mas não vai parecer assim. Ele vai conseguir fazer algumas coisas. Vai falhar em outras. Nós o colocaremos gradualmente na sociedade e, no fim, isso terminará no mesmo padrão. Essa é a minha previsão.

Essa suposição de que, de repente, teremos um humano completamente inteligente, completamente flexível e completamente geral dentro de uma caixa, e poderemos alocá-lo para problemas arbitrários da sociedade... não acho que teremos esse tipo de mudança descontínua. Acho que chegaremos ao mesmo tipo de difusão gradual disso por toda a indústria.

Dwarkesh Patel 01:28:14

Nessas conversas, isso costuma gerar mal-entendidos. Não gosto de usar a palavra inteligência nesse contexto, porque inteligência sugere que existe uma única superinteligência sentada num servidor e que ela saberá quase divinamente como produzir novas tecnologias e invenções para causar essa explosão. Não é isso que imagino quando penso em 20% de crescimento. O que imagino são centenas de milhões de mentes muito inteligentes, parecidas com humanos, potencialmente, ou que isso seja tudo o que basta.

Mas o fato de haver centenas de milhões, bilhões delas, cada uma criando individualmente novos produtos e descobrindo como se integrar à economia. Se um imigrante altamente experiente e inteligente chegasse ao país, ele não precisaria que alguém lhe dissesse como se integrar à economia. Ele descobriria. Poderia abrir uma empresa, fazer invenções e aumentar a produtividade do mundo.

Mesmo no regime atual, há exemplos de lugares com crescimento econômico de 10–20%. Se há muita gente e relativamente menos capital em comparação com as pessoas, dá para ter crescimento acima de 10% por décadas, como em Hong Kong, Shenzhen ou qualquer outro lugar. Há muitas pessoas realmente inteligentes prontas para aproveitar os recursos e atravessar esse período de recuperação. Porque tivemos essa descontinuidade, e acho que com a IA pode acontecer algo parecido.

Andrej Karpathy 01:29:33

Entendo, mas ainda acho que isso pressupõe algum salto descontínuo. Há algum desbloqueio esperando para ser reivindicado. De repente, vamos ter gênios em data centers. Ainda acho que isso pressupõe algum salto descontínuo sem precedente histórico que não consigo encontrar em nenhuma estatística, e provavelmente não vai acontecer.

Dwarkesh Patel 01:29:52

Quero dizer, a Revolução Industrial foi esse tipo de salto. Saímos de 0,2% de crescimento para 2%. Só estou dizendo que vamos ver outro salto como esse.

Andrej Karpathy 01:30:00

Sou um pouco cético. Acho que precisaríamos olhar isso com mais cuidado. Por exemplo, alguns registros anteriores à Revolução Industrial não são tão bons assim. Tenho um pouco de ceticismo sobre isso, mas não tenho uma opinião forte. Você está dizendo que aquilo foi um evento único, extremamente mágico. E que provavelmente haverá outro evento exatamente assim, igualmente extremamente mágico. Que vai quebrar o paradigma, e assim por diante.

Dwarkesh Patel 01:30:23

Na verdade... o decisivo na Revolução Industrial é que ela não pareceu mágica. Se você ampliar a imagem, o que veria em 1770 ou 1870 não é que houve uma invenção central. Mas, ao mesmo tempo, o progresso foi muito mais rápido e moveu a economia para um regime em que o expoente ficou 10 vezes maior. Espero algo semelhante com a IA. Não acho que vá haver um único momento de invenção decisiva.

Andrej Karpathy 01:30:51

É uma oferta excedente que está sendo desbloqueada. É como uma nova fonte de energia. Há algum desbloqueio — neste caso, algum tipo de capacidade cognitiva — e existe uma oferta excedente de trabalho cognitivo a ser feito.

Dwarkesh Patel 01:31:02

Exato.

Andrej Karpathy 01:31:03

Você espera que, quando essa oferta excedente ultrapassar um limiar, ela seja preenchida por essa nova tecnologia.

Dwarkesh Patel 01:31:06

Talvez uma forma de pensar nisso seja que, ao longo da história, muito do crescimento veio do fato de que as pessoas têm ideias, e depois fazem coisas para executar essas ideias e produzir resultados valiosos. Durante a maior parte desse tempo, a população estava explodindo. Isso impulsionava o crescimento.

Nos últimos 50 anos, as pessoas argumentam que o crescimento estagnou. A população dos países avançados também estagnou. Acho que vamos voltar ao crescimento exponencial da população, que provoca um crescimento superexponencial da produção.

Andrej Karpathy 01:31:37

É realmente muito difícil dizer. Entendo esse ponto de vista. Intuitivamente, eu não o sinto.

01:32:50 – Evolução da inteligência e da cultura

Dwarkesh Patel 01:32:50

Você me recomendou os livros do Nick Lane. A partir disso, eu também achei tudo muito interessante e o entrevistei. Tenho algumas perguntas sobre como pensar a respeito da inteligência e da história da evolução.

Agora que você fez pesquisa em IA pelos últimos 20 anos, imagino que tenha uma noção mais concreta do que é inteligência e do que é necessário para desenvolvê-la. Como resultado disso, você fica mais surpreso ou menos surpreso com o fato de a evolução simplesmente ter esbarrado nisso espontaneamente?

Andrej Karpathy 01:33:19

Gosto muito dos livros do Nick Lane. Estava ouvindo o podcast dele no caminho para cá. Sobre a inteligência e a evolução dela, isso é algo muito, muito recente. Para mim, é surpreendente que isso tenha evoluído.

É fascinante pensar em todos os mundos possíveis por aí. Se existirem mil planetas parecidos com a Terra, como eles seriam? Nick Lane veio aqui e falou sobre algumas das fases mais iniciais. Ele espera formas de vida muito parecidas, em termos gerais, e na maioria delas coisas semelhantes a bactérias. Há algumas descontinuidades aí. Intuitivamente, a evolução da inteligência me parece o tipo de evento que deveria ser bem raro.

Talvez seja preciso se basear em quanto tempo algo existiu. Se bactérias existiram por 2 bilhões de anos e nada aconteceu, então passar para eucariotos provavelmente é bem difícil. Porque as bactérias surgiram relativamente cedo na evolução e na história da Terra. Há quanto tempo existem animais? Talvez algumas centenas de milhões de anos, animais multicelulares correndo, rastejando e assim por diante. Isso provavelmente é 10% da vida da Terra. Talvez, nessa escala de tempo, isso não seja tão complicado. Ainda assim, para mim continua sendo surpreendente que isso tenha se desenvolvido, intuitivamente. Acho que eu provavelmente esperaria apenas formas de vida semelhantes a animais fazendo coisas de animais. O fato de se poder obter algo que cria e acumula cultura e conhecimento me surpreende.

Dwarkesh Patel 01:34:42

Há algumas perguntas de acompanhamento interessantes. Se aceitarmos a visão do Sutton, o núcleo da inteligência é a inteligência animal... Uma frase dele foi: “quando você chega ao esquilo, já obteve a maior parte da AGI”.

Chegamos à inteligência de um esquilo logo após a explosão cambriana, há 600 milhões de anos. O que parece ter desencadeado isso foi o Grande Evento de Oxidação, há 600 milhões de anos. Mas, imediatamente, o algoritmo da inteligência já estava lá para produzir inteligência de esquilo. Isso sugere que a inteligência animal era tão... Assim que houve oxigênio no ambiente, tivemos eucariotos e foi possível obter o algoritmo logo de cara. Pode ter sido um acidente que a evolução tenha tropeçado nisso tão rápido, mas não sei se isso sugere que, no fim das contas, seria algo relativamente simples.

Andrej Karpathy 01:35:31

É muito difícil falar de qualquer uma dessas coisas. Dá para se basear um pouco em quanto tempo algo existiu ou em quanto tempo algo parece ter ficado estrangulado por um gargalo. Nick Lane é muito bom em descrever esse gargalo muito evidente entre bactérias e archaea. Durante 2 bilhões de anos, nada aconteceu. Há uma diversidade extrema na bioquímica, mas nada cresce a ponto de virar animal. Dois bilhões de anos.

Como você apontou, não sei se vimos exatamente um equivalente desse tipo com animais e inteligência. Também podemos olhar para quantas vezes achamos que certo tipo de inteligência surgiu de forma independente.

Dwarkesh Patel 01:36:07

Isso é algo muito bom de investigar.

Andrej Karpathy 01:36:09

Uma reflexão sobre isso. Há a inteligência dos hominídeos, e depois há a inteligência das aves. Corvos e assim por diante, extremamente espertos, mas as partes do cérebro deles são bastante distintas, e não temos tanto em comum assim. Isso é um pequeno indicativo de que a inteligência surgiu algumas vezes. Nesse caso, eu esperaria que isso fosse mais frequente.

Dwarkesh Patel 01:36:32

Convidados anteriores, Gwern e Carl Shulman, fizeram uma observação realmente interessante sobre isso. A visão deles é que o algoritmo escalável que os humanos têm e os primatas têm também surgiu nas aves, e talvez em outras ocasiões. Mas os humanos encontraram um nicho evolutivo que também possuía um algoritmo cerebral escalável capaz de compensar aumentos marginais de inteligência e de alcançar esse aumento de inteligência.

Por exemplo, se as aves tivessem cérebros maiores, elas simplesmente cairiam do céu. Elas são muito inteligentes para o tamanho do cérebro, mas não estão em um nicho que compense o crescimento do cérebro. Talvez animais realmente inteligentes... poderia ser parecido.

Andrej Karpathy 01:37:28

Como golfinhos?

Dwarkesh Patel 01:37:28

Exatamente. Nós, humanos, temos mãos que compensam aprender a usar ferramentas. Podemos externalizar a digestão e direcionar mais energia ao cérebro, e isso inicia o volante de inércia.

Andrej Karpathy 01:38:02

E as coisas em que trabalhar. Se eu fosse um golfinho, acho que seria mais difícil. Como acender fogo? O universo das coisas que você pode fazer debaixo d’água provavelmente é menor do que o das coisas que você pode fazer em terra, quimicamente.

Concordo com essa perspectiva sobre esses nichos e sobre o que está sendo incentivado. Ainda acho isso milagroso. Você esperaria que as coisas emperrassem em animais com músculos maiores. Passar pela inteligência é um ponto de transição realmente fascinante.

Dwarkesh Patel 01:38:28

A forma como o Gwern colocou é que a razão de isso ter sido tão difícil é que existe uma linha muito estreita entre algo para o qual aprender é tão importante que não vale a pena redestilar diretamente os circuitos certos no DNA, e algo que não é importante o suficiente nem para aprender. Tem que ser alguma coisa que incentive a construção de um algoritmo que aprende ao longo da vida.

Andrej Karpathy 01:38:55

Você precisa incentivar algum tipo de adaptabilidade. Você quer um ambiente imprevisível o bastante para que a evolução não consiga embutir o algoritmo nos pesos. Muitos animais já vêm pré-programados nesse sentido. Os humanos, quando nascem, precisam descobrir isso em tempo de teste. Você quer um ambiente que mude muito rápido, no qual não dá para prever o que vai funcionar bem. A inteligência surge para descobrir isso em tempo de teste.

Dwarkesh Patel 01:39:28

Houve um post de blog interessante em que Quintin Pope disse que a razão pela qual ele não espera um salto brusco é que os humanos tiveram um salto brusco. Parece que já tínhamos a arquitetura cognitiva que temos hoje há 60 mil anos. Há 10 mil anos, a revolução agrícola, a modernidade. O que aconteceu nesses 50 mil anos? Tivemos que construir essa estrutura cultural que permite acumular conhecimento entre gerações.

Essa é uma capacidade que existe de graça na forma como treinamos IA. Em muitos casos, ela é literalmente destilada. Quando você retreina um modelo, eles podem ser treinados uns sobre os outros, podem ser treinados sobre o mesmo corpus de pré-treinamento, e não precisam literalmente começar do zero. Levou muito tempo para os humanos colocarem esse loop cultural para funcionar, mas, na forma como treinamos LLMs, existe uma sensação de que isso simplesmente vem de graça.

Andrej Karpathy 01:39:45

Sim e não. Porque os LLMs na verdade não têm um equivalente real à cultura. Talvez estejamos dando demais a eles e incentivando-os a não construir isso, algo assim. Mas a invenção da cultura, a invenção do registro escrito, passar bilhetes uns para os outros — acho que atualmente não existe um equivalente disso nos LLMs. Eu diria que os LLMs hoje não têm cultura de fato, e isso é um dos obstáculos.

Dwarkesh Patel 01:40:05

Você pode dar uma ideia de como seria uma cultura de LLMs?

Andrej Karpathy 01:40:09

No caso mais simples, isso seria um enorme bloco de rascunho que os LLMs pudessem editar. E, quando estivessem lendo alguma coisa ou ajudando em uma tarefa, estariam editando esse bloco de rascunho para si mesmos. Por que um LLM não poderia escrever livros para outros LLMs? Isso seria legal. Por que outros LLMs não poderiam ler o livro desse LLM e se inspirar nele, ou ficar chocados com ele, ou coisas do tipo? Não existe nada equivalente a algumas dessas coisas.

Dwarkesh Patel 01:40:29

Interessante. Quando você espera que esse tipo de coisa comece a acontecer? E também sistemas multiagentes, e algum tipo de civilização e cultura de IA independentes?

Andrej Karpathy 01:40:40

Há duas ideias poderosas no espaço multiagente, e nenhuma das duas realmente foi defendida ou algo assim. A primeira é justamente essa de cultura e de LLMs terem um repertório crescente de conhecimento para seus próprios fins.

A segunda se parece muito mais com a ideia poderosa de self-play. Na minha opinião, ela é extremamente poderosa. A evolução tem muita competição impulsionando a inteligência e a própria evolução. De forma mais algorítmica, no AlphaGo, o AlphaGo joga contra si mesmo, e é assim que aprende a jogar Go muito bem. Não existe um equivalente de LLMs fazendo self-play, mas eu espero que isso também exista. Ninguém fez isso ainda. Por exemplo, por que um LLM não poderia criar muitos problemas que outro LLM está aprendendo a resolver? Aí o LLM estaria sempre tentando propor problemas cada vez mais difíceis, e assim por diante.

Há muitas formas de organizar isso. É uma área de pesquisa, mas nunca vi uma defesa convincente dessas duas melhorias multiagentes. Estamos majoritariamente no domínio de um único agente individual, mas isso vai mudar. Também quero incluir organizações no domínio da cultura. Isso também eu nunca vi de forma convincente. Essa é a razão de ainda estarmos no começo.

Dwarkesh Patel 01:41:53

Você consegue identificar o principal gargalo que está impedindo esse tipo de colaboração entre LLMs?

Andrej Karpathy 01:41:59

Talvez a forma como eu colocaria isso seja: algumas dessas analogias deveriam funcionar e não deveriam funcionar, mas, de algum jeito, surpreendentemente, funcionam. Muitos dos modelos menores, ou dos modelos mais burros, de forma surpreendente parecem crianças da pré-escola, do ensino fundamental ou do ensino médio. De algum jeito, ainda não nos formamos o suficiente para que essas coisas possam assumir. Meu Claude Code ou o Codex ainda parecem alunos das séries iniciais do fundamental. Eu sei que eles conseguem resolver provas de doutorado, mas, cognitivamente, ainda parecem crianças da pré-escola ou do fundamental.

Não acho que eles consigam criar cultura. Porque ainda são crianças. São crianças prodígio. Têm memória perfeita de tudo isso. Conseguem produzir de forma convincente todo tipo de slop que parece muito bom. Mas eu ainda acho que eles não sabem de fato o que estão fazendo, e que ainda não têm cognição de verdade em todos esses pequenos itens de checklist que ainda precisamos reunir.

01:42:55 Por que a direção autônoma demorou tanto?

Dwarkesh Patel 01:42:55

Você comentou que liderou a direção autônoma na Tesla de 2017 a 2022. E viu esse progresso em primeira mão, de demos legais até agora milhares de carros realmente dirigindo de forma autônoma. Por que isso levou 10 anos? O que aconteceu durante esse tempo?

Andrej Karpathy 01:43:11

Uma coisa que eu quase imediatamente quero contestar é que isso não está nem perto de ter terminado. Em muitos sentidos que vou abordar. A direção autônoma é muito interessante porque, como passei 5 anos nisso, é definitivamente daí que vem grande parte da minha intuição. Existe uma história inteira da direção autônoma em que as primeiras demos remontam aos anos 1980. Você pode ver a demo da CMU em 1986. Há um caminhão dirigindo sozinho na estrada.

Avançando rápido. Quando entrei na Tesla, eu tinha visto demos bem iniciais da Waymo. Basicamente, em 2014, ou algo assim, o que já faz 10 anos, ela me proporcionou uma viagem perfeita. Então, uma viagem perfeita da Waymo 10 anos atrás. Isso porque eu tinha um amigo que trabalhava lá e me levou para dar uma volta por Palo Alto. Eu achei que aquilo estava muito perto, e ainda assim levou muito tempo.

Para alguns tipos de trabalho e emprego etc., há um enorme abismo entre demo e produto, em que a demo é muito fácil, mas o produto é muito difícil. Isso vale especialmente para algo como direção autônoma, em que o custo da falha é alto demais. Muitas indústrias, tarefas e empregos provavelmente não têm essa característica, mas, quando têm, isso certamente aumenta o cronograma.

Por exemplo, na engenharia de software, eu acho que essa propriedade existe. Em muito do vibe coding, não. Mas, se você está escrevendo código real de nível de produção, essa propriedade precisa existir. Porque qualquer tipo de erro pode levar a uma vulnerabilidade de segurança ou algo assim. O número de identificação pessoal de milhões ou centenas de milhões de pessoas pode vazar, coisas desse tipo. Então, em software, as pessoas precisam ter cuidado, como na direção autônoma. Na direção autônoma, se algo dá errado, alguém pode se machucar. Há consequências ainda piores. Mas, em software, isso é quase infinito. O quão terrível algo pode se tornar.

Acho que eles compartilham essa propriedade. O motivo de levar tanto tempo, e a forma de pensar sobre isso, é que é uma marcha dos noves. Cada 9 individual exige uma certa quantidade de trabalho. Cada 9 individual exige a mesma quantidade de trabalho. Se você consegue uma demo e algo funciona 90% do tempo, isso é só o primeiro 9. Depois você precisa do segundo 9, do terceiro 9, do quarto 9, do quinto 9. Quando eu estava na Tesla por uns cinco anos, provavelmente passamos por três noves ou dois noves. Não sei exatamente o que era, mas foram vários noves de iteração. E ainda faltavam mais noves.

É por isso que essas coisas demoram tanto. Isso foi definitivamente formativo para mim, ver algo que era uma demo. Eu não fico muito impressionado com demos. Sempre que vejo a demo de alguma coisa, fico extremamente pouco impressionado. Se for uma demo montada para alguém mostrar, pior ainda. Se eu posso interagir com ela, é um pouco melhor. Mas, mesmo assim, ainda não acabou. Você precisa de um produto real. Quando ele entra em contato com a realidade, vai enfrentar todos esses desafios, e existem todos esses bolsões diferentes de comportamento que precisam de correção.

Vamos ver tudo isso se desenrolar. É a marcha dos noves. Cada 9 é constante. As demos são encorajadoras. Ainda é preciso uma quantidade enorme de trabalho. Se não estiver fazendo vibe coding, é um domínio importante de segurança, tudo bem, é divertido. Isso também reforçou meu cronograma sob essa perspectiva.

Dwarkesh Patel 01:46:25

É muito interessante ouvir isso, você dizendo que as garantias de segurança necessárias em software não são tão diferentes das da direção autônoma. O que as pessoas costumam dizer é que a razão de a direção autônoma ter levado tanto tempo é que o custo da falha é alto demais. Humanos cometem um erro, em média, a cada 400 mil milhas ou a cada sete anos. Se você tiver que lançar um agente de programação que não possa cometer um erro por pelo menos sete anos, vai ser muito mais difícil implantá-lo.

Mas seu ponto é que, se ele cometer um erro sério de programação, é como quebrar um sistema importante a cada sete anos...

Andrej Karpathy 01:46:56

Muito fácil de fazer.

Dwarkesh Patel 01:46:57

Na verdade, em termos de tempo de relógio, seria muito menos que sete anos. Porque ele estaria produzindo código continuamente desse jeito. Em termos de tokens, seriam sete anos. Mas, em termos de tempo de relógio...

Andrej Karpathy 01:47:09

Em certo sentido, esse é um problema muito mais difícil. Direção autônoma é só uma entre milhares de coisas que as pessoas fazem. É quase uma vertical única, na minha opinião. Já quando estamos falando de engenharia de software em geral, isso é muito mais... há muito mais superfície.

Dwarkesh Patel 01:47:20

Há outra objeção que as pessoas fazem a essa analogia: na direção autônoma, uma grande parte do tempo foi gasta resolvendo o problema de ter uma percepção básica robusta, construir representações e ter modelos com senso comum para conseguir generalizar ao ver algo um pouco fora da distribuição. Se alguém estiver na estrada acenando assim, você não precisa ter treinado para aquilo. Vai haver algum entendimento de como responder a esse tipo de coisa.

Essas são coisas que hoje você ganha de graça com LLMs ou VLMs, então você não precisa resolver esses problemas de representação tão básicos. Então agora implantar IA em outros domínios seria como implantar carros autônomos em outra cidade com os modelos atuais, o que é difícil, mas não é um trabalho de 10 anos.

Andrej Karpathy 01:48:07

Não tenho 100% de certeza de que concordo totalmente com isso. Não sei o quanto estamos realmente ganhando de graça. Ainda há muitas lacunas para entender o que exatamente estamos obtendo. Estamos, com certeza, conseguindo uma inteligência mais generalizável a partir de uma única entidade. Já a direção autônoma é uma tarefa de propósito muito específico. Em certo sentido, construir uma tarefa de propósito específico provavelmente é muito mais difícil, porque ela não surge dessa coisa mais geral que você está fazendo em escala, se isso faz sentido.

Mas a analogia ainda não ressoa completamente. Porque os LLMs ainda são bastante propensos a erro e ainda têm muitas lacunas a preencher. Não acho que estamos recebendo, fora da caixa, uma generalização mágica completa, em certo sentido.

Outro aspecto ao qual eu queria voltar é que os carros autônomos ainda não estão nem perto de prontos. As implantações são bem mínimas. Até a Waymo tem pouquíssimos carros. Falando de forma ampla, acho que o motivo de eles fazerem isso é que isso não é econômico. Eles construíram algo que vive no futuro. Precisaram puxar o futuro para perto, mas tiveram que fazer isso de um jeito antieconômico. Não só há o custo marginal desses carros e da operação e manutenção deles, como também há todo o investimento de capital, todos esses custos. Tornar isso econômico ainda vai ser um trabalho árduo para eles.

Além disso, quando você olha para esses carros, ninguém está dirigindo, mas eu realmente acho que isso é um pouco enganoso. Porque existem centros de teleoperação muito sofisticados para esses carros e pessoas no loop de alguma forma. Não tenho a visão completa, mas há mais humano no loop do que você imagina. Há pessoas em algum lugar entrando via feixe do céu. Não sei se elas estão totalmente no loop da direção. Às vezes estão, mas certamente estão envolvidas, há pessoas. Em certo sentido, na verdade não removemos a pessoa, apenas a movemos para algum lugar onde você não consegue vê-la.

Ainda acho que haverá algum trabalho para realmente tornar a direção autônoma real. Mas concordo com o que você mencionou sobre ir de um ambiente para outro. Ainda há desafios para realmente tornar a direção autônoma real. Mas concordo que ela certamente cruzou o limiar em que parece real, a menos que esteja sendo teleoperada de fato. Por exemplo, a Waymo não consegue ir para todas as diferentes partes da cidade. Minha suspeita é que sejam as partes da cidade onde ela não consegue obter um bom sinal. Enfim, não sei nada sobre a stack. Estou só inventando.

Dwarkesh Patel 01:50:23

Você liderou direção autônoma na Tesla por cinco anos.

Andrej Karpathy 01:50:27

Desculpe, eu não sei nada sobre os detalhes da Waymo. Dito isso, eu adoro a Waymo e sempre ando nela. Só acho que às vezes as pessoas são um pouco ingênuas demais sobre o progresso, e ainda acho que há uma quantidade enorme de trabalho pela frente. A Tesla, na minha opinião, adotou uma abordagem muito mais escalável, e a equipe está indo extremamente bem. Tenho um histórico de previsões sobre como isso vai evoluir. A Waymo saiu na frente porque conseguiu empacotar muitos sensores. Mas acho que a Tesla está seguindo uma estratégia mais escalável, e isso vai acabar parecendo muito mais com ela. Então isso ainda precisa se desenrolar, e ainda não aconteceu. Mas não quero falar da direção autônoma como algo que levou 10 anos, porque ainda não levou, se isso faz sentido.

Dwarkesh Patel 01:51:08

Porque, primeiro, o começo foi em 1980, não há 10 anos, e depois, segundo, o fim ainda não chegou.

Andrej Karpathy 01:51:14

O fim ainda não está nem perto. Porque, quando falamos de direção autônoma, normalmente, na minha opinião, estamos falando de direção autônoma em escala. De pessoas não precisarem tirar carteira de motorista, e assim por diante.

Dwarkesh Patel 01:51:22

Quero apresentar duas maneiras diferentes em que a analogia pode divergir. A razão de essa pergunta ser especialmente interessante é que ela é potencialmente a questão mais importante do mundo hoje, em termos de quão rápido a IA será implantada e quão valiosa ela é no começo. Se você está tentando modelar como 2030 vai parecer, essa é uma pergunta que você precisa entender em algum grau.

Outra coisa em que você pode pensar é, em primeiro lugar, que a direção autônoma tem exigências de latência. Não faço a menor ideia de quais são os modelos reais, mas vamos supor algo como dezenas de milhões de parâmetros. Essa não é uma restrição necessária para o trabalho do conhecimento usando LLMs. Com uso de computador e coisas do tipo, talvez seja.

Mas a outra grande questão, e provavelmente mais importante, é essa questão de capex. Sim, há um custo adicional para fornecer cópias adicionais do modelo, mas o custo operacional da sessão é bem baixo e, dependendo de como o escalonamento de inferência evolui e coisas assim, você pode amortizar o custo da IA na própria execução de treinamento. Mas certamente não é como construir um carro totalmente novo para fornecer mais uma instância do modelo. Então a economia de uma implantação mais ampla é muito mais favorável.

Andrej Karpathy 01:52:37

Acho que isso está certo. Se você permanecer no domínio dos bits, bits são um milhão de vezes mais fáceis do que tocar o mundo físico. Eu certamente reconheço isso. Bits são totalmente maleáveis e podem ser rearranjados arbitrariamente em velocidades muito altas. Eu também esperaria uma adaptação muito mais rápida na indústria. Qual era o primeiro ponto mesmo?

Dwarkesh Patel 01:52:59

As exigências de latência e as implicações disso para o tamanho do modelo?

Andrej Karpathy 01:53:02

Acho que, em linhas gerais, sim. Além disso, se você está falando de trabalho do conhecimento em escala, acho que haverá algumas exigências de latência na prática. Porque você vai precisar criar uma quantidade enorme de computação e disponibilizá-la.

O último aspecto sobre o qual quero falar muito brevemente é todo o resto. Como a sociedade pensa sobre isso? Quais são as implicações legais? Como isso funciona legalmente? Como isso funciona do ponto de vista de seguros? Quais são essas camadas e aspectos? Qual é o equivalente das pessoas colocando cones sobre os Waymo? Vai haver equivalentes para tudo isso. Então sinto que direção autônoma é uma analogia muito boa da qual dá para tomar emprestadas várias ideias. Qual é o equivalente do cone sobre o carro? Qual é o equivalente de um operador remoto oculto, e todos os aspectos disso?

Dwarkesh Patel 01:53:53

Que visão você tem sobre a construção de IA neste momento? Vamos aumentar em 10 vezes a computação disponível no mundo em um ou dois anos, e em mais de 100 vezes até o fim da década. Se o uso da IA for menor do que algumas pessoas preveem ingenuamente, isso significa que estamos superconstruindo computação ou essa é uma pergunta separada?

Andrej Karpathy 01:54:15

É como o que aconteceu com as ferrovias.

Dwarkesh Patel 01:54:18

Como é? Desculpe?

Andrej Karpathy 01:54:19

Foram as ferrovias, ou...

Dwarkesh Patel 01:54:20

Sim, foram.

Andrej Karpathy 01:54:21

Sim. Há precedentes históricos. Ou foi o setor de telecomunicações? Empacotar de antemão a internet que só chegaria 10 anos depois e criar toda a bolha no setor de telecomunicações no fim dos anos 90.

Eu entendo que estou soando muito pessimista aqui. Na verdade, sou otimista. Acho que isso vai funcionar. Acho que é administrável. A única razão de eu soar pessimista é que, se eu entro na minha timeline do Twitter, vejo todas essas coisas que simplesmente não fazem sentido para mim. Há muitas razões para isso existir. Honestamente, grande parte é simplesmente captação de recursos. É a estrutura de incentivos. Muito disso pode ser captação. Muito disso é simplesmente atenção, e converter atenção na internet em dinheiro, esse tipo de coisa. Há muita coisa acontecendo, e eu só estou reagindo a isso.

Mas, no geral, continuo muito otimista em relação à tecnologia. Vamos resolver todas essas coisas. Houve uma quantidade rápida de progresso. Não sei se há superconstrução. Pelo que entendo, acho que vamos conseguir absorver o que está sendo construído. Por exemplo, coisas como Claude Code ou OpenAI Codex nem existiam um ano atrás. Certo? Essa é uma tecnologia milagrosa que não existia. Vai haver uma quantidade enorme de demanda, como já vemos com o ChatGPT e afins.

Então não sei se há superconstrução. Estou apenas reagindo a alguns desses cronogramas muito acelerados que as pessoas continuam descrevendo de forma errada. Trabalhando em IA há 15 anos, ouvi muitas vezes pessoas muito respeitadas entenderem esse problema de forma equivocada. Quero que isso seja calibrado corretamente, e parte disso também envolve implicações geopolíticas com perguntas como essas e coisas do tipo. Não quero que as pessoas cometam erros nesse campo. Quero que estejamos ancorados na realidade do que a tecnologia é e do que ela não é.

01:56:20 - O futuro da educação

Dwarkesh Patel 01:56:20

Vamos falar sobre educação e Eureka. Uma coisa que você poderia fazer é abrir outro laboratório de IA e então tentar resolver esses problemas. Fico curioso sobre o que você está fazendo agora e por que não é pesquisa em IA em si.

Andrej Karpathy 01:56:33

A forma como eu coloco isso é que sinto um certo determinismo em relação ao que os laboratórios de IA estão fazendo. Sinto que posso ajudar ali, mas não estou convencido de que eu vá melhorar aquilo de forma única. Meu grande medo pessoal é que muitas dessas coisas aconteçam do lado da humanidade, e que a humanidade seja desempoderada por isso. Eu me importo não só com todas as esferas de Dyson que vamos construir e que a IA vai construir de modo totalmente autônomo, mas também com o que vai acontecer com os seres humanos. Quero que os humanos estejam bem no futuro.

Sinto que posso agregar muito mais valor de forma única aqui do que em melhorias incrementais em um laboratório de fronteira. O que mais temo é algo como o retratado em filmes como WALL-E ou Idiocracy. Um cenário em que a humanidade fica de lado diante dessas coisas. Quero que os humanos estejam muito, muito melhores nesse futuro. Para mim, isso é algo que você pode alcançar por meio da educação.

Dwarkesh Patel 01:57:35

Então o que você está fazendo ali?

Andrej Karpathy 01:57:36

A maneira mais fácil de explicar é que estamos tentando construir a Academia da Frota Estelar. Não sei se você já assistiu Star Trek.

Dwarkesh Patel 01:57:44

Não assisti.

Andrej Karpathy 01:57:44

A Academia da Frota Estelar é essa instituição de elite voltada para tecnologia de fronteira, construção de naves espaciais e formação de cadetes que se tornarão pilotos dessas naves. Então eu simplesmente imagino uma instituição de elite para conhecimento técnico, uma espécie de escola muito atual e de altíssimo nível.

Dwarkesh Patel 01:58:05

A categoria de pergunta que tenho para você é: como explicar um bom ensino de conteúdo técnico ou científico, porque você é um dos grandes mestres disso no mundo. Tenho curiosidade sobre o que você acha do conteúdo que já publicou no YouTube e também sobre a Eureka, e como você pensa nisso, se for diferente.

Andrej Karpathy 01:58:25

Sobre a Eureka, uma coisa que me fascina muito na educação é que acho que a educação vai mudar de forma bastante fundamental quando a IA estiver ao lado dela. Ela vai precisar ser, em certo grau, reconfigurada e transformada.

Ainda acho que estamos bem no começo. Há muitas pessoas que vão pegar os LLMs e tentar fazer as coisas óbvias de fazer perguntas. Façam todas as coisas básicas que dá para fazer com prompting hoje. Isso ajuda, mas ainda me parece meio tosco. Eu quero fazer direito, e acho que a capacidade ainda não está no ponto do que eu quero. O que eu quero é uma experiência real de tutoria.

O exemplo mais marcante na minha cabeça é que recentemente eu estava aprendendo coreano. Então, aprendizado de idiomas. Eu passei pela fase de aprender coreano sozinho na internet. Passei pela fase em que fazia parte de uma pequena turma com outras pessoas ouvindo coreano na Coreia, o que foi muito engraçado. Éramos umas 10 pessoas com a professora ouvindo coreano. Depois, passei para um tutor individual.

O que me fascinou foi que acho que tive uma tutora realmente boa, e eu só fico pensando no que essa tutora estava fazendo por mim, em como aquela experiência foi incrível e em quão alto é o padrão do que eu quero construir no fim das contas. A partir de uma conversa muito curta, imediatamente, ela entendeu onde eu estava como aluno, o que eu sabia e o que eu não sabia. Ela conseguia explorar exatamente que tipos de perguntas ou coisas poderiam me ajudar a entender meu modelo de mundo. Nenhum LLM hoje vai fazer isso 100% por você, nem chega perto. Mas um tutor, se for bom, faz isso. Depois de entender, ela realmente me deu tudo de que eu precisava a partir do recorte exato da minha capacidade atual. Você sempre precisa ser desafiado na medida certa. Você não pode enfrentar algo difícil demais nem trivial demais, e um tutor é muito bom em oferecer exatamente a coisa certa para você.

Eu sentia que a única limitação do aprendizado era eu. A informação perfeita estava sempre sendo dada. Eu sou a única limitação. Foi uma sensação boa, porque eu era o único obstáculo existente. Não era porque o conhecimento era difícil de encontrar, ou porque não estava sendo explicado direito, e assim por diante. Era só a minha capacidade de memorizar e coisas desse tipo. É isso que eu quero para as pessoas.

Dwarkesh Patel 02:00:27

Como você automatiza isso?

Andrej Karpathy 02:00:29

Essa é uma pergunta muito boa. Com as capacidades atuais, não automatiza. É por isso que acho que ainda não é a hora certa de construir esse tipo de tutor de IA. Ainda acho que seria um produto útil, e muitas pessoas vão construí-lo, mas o padrão é alto demais e a capacidade ainda não chegou lá. Mesmo hoje, eu diria que o ChatGPT é um produto educacional extremamente valioso. Mas, para mim, foi fascinante ver, quando eu estava com ela, o quão alto é o padrão. Quase senti que não havia como construir isso.

Dwarkesh Patel 02:01:02

Mas você está construindo isso, certo?

Andrej Karpathy 02:01:03

Qualquer pessoa que já teve um tutor realmente bom pensa: “como é que você vai construir isso?”. Eu estou esperando essa capacidade.

Eu fiz consultoria de IA em visão computacional. Em muitos casos, o valor que eu levava para a empresa era dizer para eles não usarem IA. Eu era o especialista em IA, eles descreviam o problema, e eu dizia: “não usem IA”. Esse era meu valor agregado. Agora, em educação, sinto algo parecido. Para o que eu tenho em mente, ainda não é a hora, mas a hora vai chegar. Por enquanto, estou construindo algo com uma aparência um pouco mais tradicional, com componentes físicos e digitais e tal. Mas está claro como isso deve parecer no futuro.

Dwarkesh Patel 02:01:43

Dentro do que você estiver disposto a dizer, é algo que você espera lançar este ano ou no ano que vem?

Andrej Karpathy 02:01:49

Estou criando o primeiro curso. Quero fazer um curso realmente, realmente bom. Um destino claramente de ponta para onde as pessoas vão aprender, neste caso, IA. Como é isso que eu conheço, é um primeiro produto muito bom para fazer muito bem nessa área. Então é isso que estou construindo. O Nanochat que você mencionou rapidamente é o projeto final de LLM101N, a aula que estou criando. Isso é uma parte muito grande disso. Mas agora eu preciso criar muitas etapas intermediárias, depois contratar uma pequena equipe de TAs e montar o curso inteiro.

Uma outra coisa que eu diria é que, em muitos casos, quando as pessoas pensam em educação, elas pensam mais no que eu chamaria de componente mais leve de difusão de conhecimento. Eu tenho em mente algo muito difícil e técnico. Na minha opinião, educação é um processo técnico muito difícil de construir rampas para o conhecimento. Na minha opinião, o nanochat é uma rampa para o conhecimento, porque é muito simples. É uma stack completa totalmente simplificada. Se você entregar esse artefato para alguém e essa pessoa o examinar, ela aprende uma quantidade enorme de coisas. Isso gera muito do que eu chamo de eurekas por segundo, ou compreensão por segundo. É isso que eu quero, muitos eurekas por segundo. Então, para mim, este é um problema técnico de como construir essa rampa de forma muito eficiente. Para que as pessoas nunca travem e para que nada seja sempre difícil demais nem trivial demais, e elas tenham exatamente o material certo para progredir.

Dwarkesh Patel 02:03:25

O que você imagina no curto prazo é que, em vez de o tutor conseguir explorar sua compreensão, se você tiver autoconsciência suficiente para explorar a si mesmo, então nunca vai travar. Entre falar com um TA, falar com um LLM e olhar a implementação de referência, você consegue encontrar a resposta certa. Até agora, não parece que automação ou IA sejam a parte importante. Até agora, o grande alfa aqui é sua capacidade de explicar IA de um jeito codificado no material-fonte da aula. É isso que o curso é, fundamentalmente.

Andrej Karpathy 02:04:00

Você sempre precisa se ajustar às capacidades que existem na indústria. Muitas pessoas vão simplesmente seguir o caminho de perguntar ao ChatGPT e coisas assim. Mas, agora mesmo, por exemplo, se você for ao ChatGPT e pedir para ele ensinar IA, não tem como. Ele vai te entregar algo tosco. A IA não vai escrever o nanochat agora. Mas o nanochat é um ponto intermediário realmente útil. Eu estou colaborando com a IA para criar todo esse material, então a IA ainda é fundamentalmente muito útil.

No passado, eu criei CS231n em Stanford, e acho que foi a primeira aula de deep learning em Stanford, e ela foi muito popular. A diferença entre criar a 231n naquela época e criar a LLM101N agora é bem marcante. Eu sinto que estou realmente empoderado pelos LLMs, do jeito que eles existem hoje, mas eu continuo muito dentro do loop. Eles ajudam a criar o material, e eu avanço muito mais rápido. Eles fazem muitas das coisas tediosas e assim por diante. Sinto que estou desenvolvendo o curso muito mais rápido, e ele está impregnado de LLM, mas eles ainda não chegaram ao ponto de conseguir criar o conteúdo de forma criativa. Eu ainda preciso estar lá para fazer isso. O ponto delicado é sempre se ajustar ao que existe.

Dwarkesh Patel 02:05:04

Quando você imagina o que estará disponível via Eureka em alguns anos, parece que o grande gargalo vai ser encontrar, em cada área, os Karpathys capazes de transformar sua compreensão nessas rampas.

Andrej Karpathy 02:05:18

Isso vai mudar com o tempo. Agora, vai ser contratar professores para trabalhar lado a lado com IA e pessoas. Provavelmente para criar cursos de ponta. Com o tempo, talvez alguns dos TAs possam ser IA. Acho que dá para pegar todo o material do curso e então fornecer um TA automatizado muito bom para o aluno. Quando ele tiver perguntas mais básicas e coisas assim. Mas acho que, para a arquitetura geral do curso e para garantir que ela esteja certa, ainda vai ser preciso ter professores. Então eu vejo uma progressão de como isso vai evoluir. Talvez em algum ponto no futuro eu não seja tão útil, e a IA esteja fazendo a maior parte do design muito melhor do que eu consigo. Mas ainda acho que vai levar tempo para isso se desenrolar.

Dwarkesh Patel 02:05:59

Você imagina pessoas com conhecimento especializado em outras áreas contribuindo com cursos, ou, dado o seu entendimento de como você quer ensinar, sente que é essencial para a visão que a pessoa que desenha o conteúdo seja você? Como o Sal Khan narrando pessoalmente todos os vídeos da Khan Academy. É isso que você imagina?

Andrej Karpathy 02:06:20

Não, vou contratar professores. Porque existem domínios nos quais eu não sou especialista. Em última análise, essa é a única maneira de oferecer uma experiência de ponta para o aluno. Espero contratar professores, mas provavelmente vou continuar em IA por um tempo. Tenho em mente algo mais tradicional do que as pessoas provavelmente imaginam em relação às capacidades atuais.

Quando penso em criar a Starfleet Academy, imagino provavelmente uma instituição física, e abaixo dela uma camada de oferta digital. Essa não é a experiência de ponta que você teria quando alguém vem fisicamente em tempo integral e nós trabalhamos o material do começo ao fim e verificamos se você realmente entendeu. Essa é a oferta física. A oferta digital é muitas das coisas da internet e provavelmente algum assistente com LLM. É um pouco mais gimmick e uma camada abaixo, mas pelo menos é acessível para 8 bilhões de pessoas.

Dwarkesh Patel 02:07:08

Basicamente, parece que você está reinventando a universidade a partir de primeiros princípios para as ferramentas disponíveis hoje e selecionando pessoas que têm motivação e interesse para realmente se envolver com o material.

Andrej Karpathy 02:07:26

Vai ter que haver muita educação, mas também requalificação. Eu quero ajudar nisso. Porque os empregos provavelmente vão mudar bastante. Por exemplo, hoje muitas pessoas estão tentando se capacitar, especialmente em IA. Acho que esse é um curso realmente ótimo para ensinar nesse contexto. Em termos de motivação, a motivação pré-AGI é bem simples de resolver. Porque as pessoas querem ganhar dinheiro. É assim que se ganha dinheiro na indústria hoje. O pós-AGI pode ser muito mais interessante. Porque, se tudo for automatizado e ninguém tiver nada para fazer, por que alguém iria à escola?

Eu costumo dizer que a educação pré-AGI é útil. A educação pós-AGI é divertida. De forma parecida com o jeito como as pessoas vão à academia hoje. Nós não precisamos da força física delas para mover objetos pesados, porque temos máquinas para fazer isso. Mesmo assim, elas vão à academia. Por que vão à academia? Porque é divertido, saudável, e ficar com abdômen definido parece legal. Fazer isso é atraente para as pessoas. Em um sentido muito profundo, psicológico e evolutivo, para a humanidade. A educação vai se desenrolar da mesma forma. Você vai à escola como vai à academia.

Neste momento, muitas pessoas não aprendem. Porque aprender é difícil. Elas travam no material. Algumas superam essa barreira, mas, para a maioria, é difícil. Esse é um problema técnico a ser resolvido. O que meu tutor fez por mim quando eu estava aprendendo coreano é um problema técnico a ser resolvido. É tratável e dá para construir, e alguém precisa construir isso. Isso tornaria aprender qualquer coisa algo trivial e desejável, e as pessoas fariam isso por diversão. Porque seria trivial. Se você tivesse um tutor assim para qualquer pedaço arbitrário de conhecimento, seria muito mais fácil aprender qualquer coisa, e as pessoas fariam isso. Elas fariam isso pelo mesmo motivo que vão à academia.

Dwarkesh Patel 02:09:17

Isso soa diferente... então, no pós-AGI, você está usando isso como entretenimento ou autoaperfeiçoamento. Mas também parecia haver uma visão em que essa educação tem a ver com manter a humanidade no controle da IA. Isso parece diferente. Para algumas pessoas é entretenimento, mas para outras é empoderamento? Como você pensa sobre isso?

Andrej Karpathy 02:09:41

Acho que isso acaba sendo meio que um jogo perdido, se isso faz sentido. No longo prazo, sim. Provavelmente em um prazo mais longo do que a maioria das pessoas da indústria imagina, é um jogo perdido. As pessoas acham que dá para ir muito longe, e mal arranhamos a superfície do quão longe um ser humano pode ir. Isso só acontece porque as pessoas travam em materiais que são fáceis demais ou difíceis demais. As pessoas poderão ir muito mais longe. Todo mundo vai falar cinco idiomas. Porque por que não? Vai ser trivial demais. Todo mundo vai conhecer todo o currículo básico de uma graduação, e assim por diante.

Dwarkesh Patel 02:10:18

Agora eu entendo a visão, e é muito interessante. A cultura de academia é uma analogia perfeita. Não acho que, cem anos atrás, alguém fosse musculoso assim. Ninguém teria conseguido voluntariamente levantar no supino duas ou três anilhas de cada lado. Isso é muito comum hoje por causa dessa ideia de treinar sistematicamente e fazer levantamento de peso na academia, ou treinar sistematicamente para conseguir correr uma maratona. Essa é uma capacidade que a maioria dos humanos não teria espontaneamente. Então você está imaginando coisas parecidas para o aprendizado em muitos outros domínios, de forma muito mais intensa, profunda e rápida.

Andrej Karpathy 02:10:54

Exatamente. Estou apostando um pouco na permanência da natureza humana. Acho que fazer todas essas coisas vai ser desejável, e que as pessoas vão admirar isso, como fazem há milhares de anos. Isso vai continuar sendo verdade. Historicamente, há algumas evidências disso. Por exemplo, se você olhar para a aristocracia, ou para a Grécia Antiga, ou coisas assim, sempre que tivemos pequenos ambientes de bolso que, em certo sentido, já eram pós-AGI, as pessoas passavam muito tempo florescendo de certas maneiras, física e cognitivamente. Eu me sinto razoavelmente bem em relação a essa perspectiva.

Se isso for falso e eu estiver errado e acabarmos em um futuro tipo WALL-E ou Idiocracy, eu nem me importo se houver esferas de Dyson. Esse é um resultado terrível. Eu realmente me importo com a humanidade. Todo mundo precisa ser sobre-humano em certo sentido.

Dwarkesh Patel 02:11:52

Isso ainda é... isso é fundamentalmente um mundo de cultura, certo? É um mundo em que você basicamente não conseguiria mudar a trajetória da tecnologia nem influenciar decisões apenas com seu próprio trabalho ou cognição. Talvez você consiga influenciar decisões porque a IA pede sua aprovação, mas não é porque eu inventei alguma coisa ou tive uma nova ideia de design que estou realmente impactando o futuro.

Andrej Karpathy 02:12:21

Talvez. Acho que haverá uma transição em que, se entendermos muitas coisas, estaremos no loop e poderemos impulsionar as coisas. No longo prazo, isso provavelmente vai desaparecer. Pode ser que o esporte seja algo como o powerlifting da era cognitiva. Talvez haja pessoas levando isso ao extremo para criar uma Olimpíada de realmente saber as coisas. Se você tiver um tutor de IA perfeito, talvez consiga ir extremamente longe. Sinto que os gênios de hoje mal arranham a superfície do que a mente humana é capaz de fazer.

Dwarkesh Patel 02:12:59

Eu adoro essa visão. E também sinto que eu sou a pessoa com maior product-market fit para isso. Porque o meu trabalho envolve aprender temas diferentes toda semana, e eu fico muito empolgado com isso.

Andrej Karpathy 02:13:17

Comigo é parecido. Muitas pessoas, por exemplo, odeiam a escola e querem sair de lá. Eu realmente gostava muito da escola. Eu adorava aprender coisas, e assim por diante. Eu queria continuar na escola. Fiquei até o doutorado, e depois fui para a indústria porque não me deixaram ficar mais. De modo geral, eu amo aprender, inclusive pelo aprendizado em si, mas também amo aprender porque isso é uma forma de empoderamento e porque é útil e produtivo.

Dwarkesh Patel 02:13:39

Você também fez uma observação sutil que eu quero colocar em palavras. Dado o que aconteceu até agora com os cursos online, por que eles ainda não fizeram com que cada ser humano pudesse saber tudo? É porque eles exigem motivação demais. Porque não há uma rampa óbvia e é muito fácil travar. Em vez disso, se você tivesse isso — algo como um tutor humano realmente bom — então, do ponto de vista da motivação, isso seria simplesmente esse grande desbloqueio.

Andrej Karpathy 02:14:10

Eu acho que sim. Ser rejeitado pelo material é uma sensação ruim. É ruim. Você investe tempo em algo e não dá frutos, ou recebe uma recompensa negativa quando o que está obtendo é fácil demais ou difícil demais, então fica completamente entediante. Quando você acerta, aprender é gostoso. Chegar a esse ponto é um problema técnico. Por um tempo, vai ser colaboração entre IA e humanos e, em algum momento, provavelmente será só IA.

Dwarkesh Patel 02:14:36

Posso fazer algumas perguntas sobre ensinar bem? Se você fosse aconselhar outros educadores, de outras áreas pelas quais você tem curiosidade, a fazer o tipo de tutorial no YouTube que você criou. Pode ser especialmente interessante falar sobre domínios em que você não consegue testar a compreensão técnica de alguém pedindo que escreva código ou algo assim. Que conselho você daria?

Andrej Karpathy 02:14:58

Esse é um tema bem amplo. Acho que existem de 10 a 20 dicas e truques que eu aplico de forma semiconsciente. Mas muito disso vem da minha formação em física. Eu realmente, realmente gostei da minha formação em física. Há uma longa conversa sobre por que todo mundo deveria estudar física na educação básica. Porque a educação básica não é sobre acumular conhecimento ou memória para depois trabalhar na indústria. É sobre dar boot no cérebro. A física dá boot no cérebro melhor do que qualquer outra coisa. Porque algumas das coisas que ela faz seu cérebro praticar acabam sendo extremamente valiosas depois.

A ideia de construir modelos e abstrações e entender que existe uma aproximação de primeira ordem que explica a maior parte de um sistema, mas que pode ou não haver termos de segunda, terceira e quarta ordem. A ideia de observar sistemas muito ruidosos, mas ainda assim perceber que existem frequências fundamentais que você pode abstrair. Quando um físico entra na aula e diz: "vamos supor que temos uma vaca esférica", todo mundo ri disso, mas isso é excelente. É um grande tipo de pensamento, altamente generalizável em toda a indústria, porque em muitos aspectos você pode aproximar a vaca como uma esfera.

Por exemplo, existe um livro muito bom, Scale. É um livro escrito por um físico falando sobre biologia. Provavelmente também é um livro que eu recomendaria ler. Você consegue obter aproximações realmente interessantes dos animais e traçar leis de escala dos animais. Você olha para a frequência cardíaca deles e coisas do tipo, e isso se alinha com o tamanho do animal e afins. Você pode falar dos animais em termos de volume. Pode falar sobre a dissipação de calor deles. Porque a dissipação de calor cresce com a área de superfície, ou seja, com o quadrado. Mas a produção ou geração de calor cresce com o cubo. Então eu sinto que os físicos simplesmente têm todas as ferramentas cognitivas certas para abordar a resolução de problemas no mundo.

Por causa desse treinamento, eu sempre tento encontrar os termos de primeira ou segunda ordem em tudo. Quando observo um sistema ou qualquer coisa, existe na minha mente um emaranhado de ideias ou uma teia de conhecimento. Estou tentando descobrir o que é importante. Qual é o componente de primeira ordem? Como posso simplificar isso? Como posso ter a coisa mais simples que mostre isso, realmente mostrar isso, e então adicionar os outros termos?

Um exemplo de um dos meus repositórios que acho que mostra isso bem se chama micrograd. Não sei se você conhece. O micrograd são 100 linhas de código mostrando backpropagation. Você pode construir redes neurais a partir de operações simples como soma e multiplicação. Os blocos de Lego das redes neurais. Você constrói um grafo computacional e faz o forward pass e o backward pass para obter os gradientes. Isso é o núcleo de todo treinamento de rede neural.

Então o micrograd são 100 linhas de código Python bastante interpretáveis, e ele pode fazer forward e backward em redes neurais arbitrárias, mas não é eficiente. Portanto, micrograd, essas 100 linhas de Python, são tudo de que você precisa para entender como uma rede neural é treinada. Todo o resto é só eficiência. Existe uma quantidade enorme de trabalho para obter eficiência. Você precisa de tensores, batching, striding, escrever kernels, orquestrar corretamente o movimento de memória e assim por diante. Tudo isso é só eficiência, grosso modo. Mas a peça intelectual central do treinamento de redes neurais é o micrograd. São 100 linhas. Dá para entender facilmente. É a aplicação recursiva da regra da cadeia para derivar gradientes. Isso permite otimizar qualquer função diferenciável arbitrária.

Então eu adoro procurar esses pequenos termos de ordem inferior, descobri-los e servi-los em uma bandeja. Sinto que educação é a coisa mais intelectualmente interessante. Porque você tem esse emaranhado de entendimento e está tentando organizá-lo de um jeito que forme uma rampa em que tudo dependa apenas do que veio antes. Acho que desfazer esse emaranhado de conhecimento é simplesmente fascinante do ponto de vista cognitivo. Eu, pessoalmente, adoro fazer isso, mas existe esse fascínio por tentar organizar as coisas de uma certa maneira. Talvez isso me ajude.

Dwarkesh Patel 02:18:41

Isso também torna a experiência de aprendizagem muito mais motivadora. Seu tutorial sobre transformers começa com bigramas, literalmente uma tabela de consulta, "aqui está uma palavra agora, ou aqui está a palavra anterior, aqui está a próxima palavra". É literalmente só uma tabela de consulta.

Andrej Karpathy 02:18:58

Essa é a essência disso, sim.

Dwarkesh Patel 02:18:59

Começar com uma tabela de consulta e chegar a transformers é um método realmente excelente. Cada peça tem motivação. Por que você adicionaria isso? Por que adicionar a próxima coisa? Você pode memorizar a fórmula de atenção, mas trata-se de entender por que cada uma das partes é relevante e que problema ela resolve.

Andrej Karpathy 02:19:13

Apresente a dor antes de apresentar a solução, e como isso é inteligente? Você quer levar o aluno por essa progressão. Existem muitas outras pequenas coisas que tornam isso bom, envolvente e interessante. Sempre dê prompts ao aluno.

Há muitas outras pequenas coisas importantes que bons educadores fazem. Como você resolveria isso? Eu não vou apresentar a solução antes de você dar um palpite. Isso seria um desperdício. Isso é um pouco... eu não quero xingar, mas não dar a você a chance de tentar por conta própria antes de eu apresentar a solução é um mau comportamento da minha parte em relação a você.

Dwarkesh Patel 02:19:51

Porque quando você tenta pensar por si mesmo, passa a entender melhor qual é o espaço de ações, qual é o objetivo e, então, por que só esta ação satisfaz esse objetivo.

Andrej Karpathy 02:20:03

Você teve a chance de tentar por conta própria e, quando eu dou a solução, você fica grato. Isso maximiza a quantidade de conhecimento por novo fato adicionado.

Dwarkesh Patel 02:20:11

Por que, basicamente, pessoas que são verdadeiros especialistas em sua área com frequência são ruins em explicar isso para alguém que está aprendendo?

Andrej Karpathy 02:20:24

Especialização e a maldição do conhecimento. Isso é um fenômeno real, e eu também sofro com isso tanto quanto tento combatê-lo. Você toma certas coisas como dadas e não consegue se colocar no lugar de alguém novo que está apenas começando. Isso é muito disseminado e também acontece comigo.

Uma coisa muito útil. Por exemplo, alguém tentou recentemente me mostrar um artigo de biologia e eu imediatamente tive muitas perguntas terríveis. O que eu fiz foi usar o ChatGPT, colocar o artigo na janela de contexto e fazer perguntas. Resolvi algumas das questões mais simples. Depois compartilhei o thread com a pessoa que escreveu o artigo ou fez aquele trabalho. Senti que, se ela pudesse ver as perguntas bobas que eu tive, isso poderia ajudá-la a explicar melhor no futuro.

Sobre o meu material, eu adoraria se as pessoas compartilhassem comigo as conversas bobas que tiveram com o ChatGPT sobre coisas que eu criei. Porque isso realmente me ajuda a me colocar de novo no lugar de alguém que está começando.

Dwarkesh Patel 02:21:19

Há outro truque que funciona surpreendentemente bem. Quando alguém escreve um artigo, um post de blog ou faz uma apresentação, a narrativa ou a transcrição de como essa pessoa explicaria aquilo no almoço é muito mais não só compreensível, mas na verdade também mais precisa e científica. Em 100% dos casos. No sentido de que as pessoas têm um viés de explicar as coisas da forma mais abstrata possível, cheia de jargão, e de passar quatro parágrafos limpando a garganta antes de explicar a ideia central. Mas há algo em se comunicar individualmente com alguém que faz a pessoa simplesmente dizer o que quer dizer.

Andrej Karpathy 02:22:07

Simplesmente fale. Eu vi esse tweet e achei muito bom. Compartilhei com muitas pessoas. Já senti isso muitas e muitas vezes.

O exemplo mais marcante é que me lembro de fazer pesquisa no meu doutorado. Você lê o artigo de alguém e tenta entender o que ele está fazendo. Depois, mais tarde, encontra essa pessoa numa conferência, tomando cerveja, e pergunta: "Então, esse artigo, o que ele estava fazendo? Sobre o que era o artigo?"

A pessoa simplesmente diz três frases que capturam perfeitamente a essência do artigo e transmitem a ideia por completo. E aí não era preciso ter lido o artigo. Só quando você está sentado à mesa com uma cerveja ou algo assim, ela diz: "Ah sim, o artigo é só, pegar essa ideia, pegar aquela ideia, e tentar esse experimento e isso aqui." Ela tem um jeito de colocar isso perfeitamente numa conversa. Por que isso não é o resumo?

Dwarkesh Patel 02:22:51

Exatamente. Isso vem da perspectiva de como alguém que está tentando explicar uma ideia deveria formulá-la melhor. Como estudante, qual é seu conselho para outros estudantes, se não houver um Karpathy fazendo a explicação da ideia? Se você está lendo um artigo ou um livro de alguém, que estratégias usa para aprender materiais de áreas nas quais tem interesse, mas não é especialista?

Andrej Karpathy 02:23:20

Sinceramente, não sei se tenho dicas e truques únicos. É um processo doloroso. Uma coisa que sempre foi bastante útil para mim — fiz um pequeno tweet sobre isso — é que aprender sob demanda é muito bom. Aprender em profundidade primeiro. Sinto que é preciso alternar um pouco entre aprender em profundidade, sob demanda — quando você está tentando realizar algum projeto específico que vai render uma recompensa — e aprender em largura primeiro, que é tipo: "Ah, vamos fazer um 101 qualquer, e aqui estão todas as coisas de que você talvez precise." É isso que muitas escolas fazem — aprendizado em largura primeiro, coisas do tipo "ah, confie em nós, você vai precisar disso depois". Tudo bem, eu confio. Vou aprender porque vou precisar. Mas eu gosto do tipo de aprendizado em que obtenho recompensa por fazer alguma coisa e estou aprendendo sob demanda.

Outra coisa que achei extremamente útil. Esse já é um lado um pouco mais altruísta da educação, mas explicar coisas para outras pessoas é uma maneira linda de aprender algo mais profundamente. Isso sempre acontece comigo. Provavelmente acontece com outras pessoas também. Porque, se você não entende realmente alguma coisa, percebe que não consegue explicá-la. Você tenta e pensa: "Ah, eu não entendo isso." É muito irritante se deparar com isso. Você pode voltar e verificar se realmente entendeu. Você preenche essas lacunas de compreensão. Isso força você a encará-las. Força você a reconciliá-las.

Eu gosto de reexplicar algo, e outras pessoas também deveriam fazer isso. Porque aí você precisa manipular o conhecimento e ter certeza de que entende mesmo o que está dizendo ao explicar.

Dwarkesh Patel 02:24:48

Esse foi um ótimo texto para encerrar. Andrej, foi excelente.

Andrej Karpathy 02:24:51

Obrigado.

[GN⁺]

Comentários do Hacker News

• Acho importante ver o avanço da IA como uma espécie de "marcha dos noves". Cada 9% adicional exige a mesma quantidade de esforço. Se você fez um demo de 90%, agora precisa somar o segundo 9%, o terceiro 9% e assim por diante. Vivi esse processo iterativo várias vezes durante meus 5 anos na Tesla. Ainda falta muito chão. O avanço da IA costuma parecer um aumento exponencial de capacidade em certos benchmarks fixos, mas a dificuldade para passar ao próximo estágio também aumenta exponencialmente, então no longo prazo isso acaba parecendo uma melhora linear

  • Quando vi recentemente a entrevista do Rich Sutton, fiquei com a sensação de que AGI não é simplesmente uma questão de empilhar mais 9%. O entrevistador partia da premissa de que compreender linguagem exige um modelo do mundo, mas Sutton rejeitou essa premissa de imediato. Acho que dá para concordar com esse ceticismo

  • Isso me lembra um velho ditado sobre maratona. Uma maratona é composta de duas partes: as primeiras 20 milhas e os últimos 10 km, corridos no estado mais dolorido e exausto da sua vida

  • Gosto da analogia do autor. Mas a partir de certo ponto a própria IA passa a ajudar no avanço, e isso a diferencia decisivamente dos antigos sistemas de ML especializados em domínio ou de outros sistemas. Por isso, espero que haja uma aceleração brusca nos próximos 2 anos

  • Eu também costumo brincar que termino os primeiros 90% do trabalho e depois passo para os 90% seguintes

  • Esse jeito de pensar se aplica a muita coisa. É como a chamada eficiência de Pareto, ou a regra 80/20: 20% do esforço faz 80% do trabalho. Mas a maior parte do tempo vai para concluir os 20% restantes. Esse princípio se aplica repetidamente. Esse fenômeno também tem ficado muito evidente em TI recentemente. Andar rápido e experimentar funciona bem na maior parte do caminho, mas nesse processo muitos problemas vão se acumulando e, no fim, alguém precisa organizar e revisar tudo. Cada probleminha se soma até virar um problemão. Mesmo 99,9% de uptime significa 9 horas de indisponibilidade por ano, e 1 milhão de casos em 1 bilhão não é algo desprezível. A escalabilidade da tecnologia fez o setor crescer rápido, mas também ampliou seu lado sombrio. Dá para alcançar um nível acima da média só com esforço, mas ainda assim o nível de alguém em certa área pode estar muito longe de um verdadeiro mestre. Assim como alguém com 100 milhões de dólares está, em distância de riqueza, mais perto de um morador de rua do que de um bilionário, nossa intuição é curva

• Sempre acho estranho quando pesquisadores de IA e cientistas da computação começam a comparar cérebro humano, IA e computadores. Fico me perguntando por que nós, que estudamos só ciência da computação, achamos que sabemos o suficiente sobre biologia, neurociência, evolução etc. Essas discussões são interessantes, mas no fundo sempre penso: "não vamos esquecer que estamos ouvindo dois formados em CC falando de neurociência"

  • Acho que esse tipo de papo e até essa terminologia deveriam sumir de vez da área de IA. Só geram confusão sem fim no público. A natureza real de um LLM é simplesmente treinar matrizes para prever o próximo token. Só esse conceito já basta para explicar a coisa, sem trazer AGI, basilisco de Roko ou consciência humana para a conversa

  • Se for para responder por que essa premissa surge, a resposta é: arrogância

  • Na verdade, se pensar logicamente, existe até a piada de começar imaginando "um cérebro perfeitamente esférico e sem atrito"

  • Eu também fazia esse tipo de comparação na graduação, e no fim acabava me apoiando num modelo conceitual do tipo: se o cérebro faz X, então talvez o computador também faça algo vagamente parecido com X, ou então reproduza X por etapas como Y e Z. Mas depois que percebi como o cérebro é uma máquina química absurdamente complexa, fiquei bem mais cético em relação a essas comparações

  • IA e neurociência têm bastante sobreposição, especialmente entre pesquisadores mais antigos. Por exemplo, a orientadora do Karpathy, Fei-Fei Li, estudava visão no cérebro de gatos antes de migrar para visão computacional; Demis Hassabis tem doutorado em neurociência computacional; Geoff Hinton também estudou psicologia. A conferência RLDM conecta aprendizado por reforço e neurociência para promover troca entre especialistas das duas áreas. Na prática, um pesquisador médio de IA provavelmente sabe muito mais sobre cérebro do que um estudante de ciência da computação comum, embora ainda possa não ter especialização suficiente para fazer pesquisa nisso

• Se há uma limitação fundamental dos LLMs/IAs atuais, é que eles são treinados principalmente com foco em dados abstratos para imitar o córtex pré-frontal humano, responsável pelo raciocínio lógico. Só que o julgamento humano real é guiado pela atividade do sistema límbico, centrada em emoção e intuição. Ou seja, na maioria dos casos, fazemos algo antes e só depois construímos a explicação. No fim, os LLMs estariam imitando apenas algumas formas de atividade neural a partir de um ponto totalmente diferente de como os humanos lidam com a realidade

• Eu apostaria todo o meu patrimônio que AGI não vai surgir durante a vida de ninguém que esteja lendo esta mensagem agora. Incluindo os leitores do futuro que venham a ler isto depois. A questão realmente interessante é como provar essa aposta

  • Queria entender as razões concretas para pensar assim. Sempre que leio o Hacker News, fico perplexo com a enxurrada de previsões sobre AGI sem muita lógica séria por trás. Eu realmente não faço ideia do que vai acontecer

  • Para essa aposta realmente valer, teria que haver dinheiro real envolvido em um mercado de previsão tipo o Polymarket. Mas antes seria preciso chegar a um acordo sobre uma definição concreta de AGI. Se a outra parte puder definir do jeito mais favorável para si, a aposta fica impossível de ganhar

  • Se a pessoa realmente quer apostar o próprio patrimônio, como isso é quase impossível de liquidar na prática, o mais realista é colocar em um mercado de previsão. O Polymarket tem várias apostas relacionadas a AGI

  • Talvez o mais prático seja simplesmente vender ações da Nvidia a descoberto

  • Comentário propondo o uso de escrow

• Só para acrescentar: acho que ainda não temos nem uma compreensão esquemática do que é inteligência e de como ela funciona. Nem mesmo está claro como consciência e inteligência se conectam. Nessa situação, boa parte das discussões e até das previsões sobre AGI ou IA fica com base muito fraca. Definir inteligência artificial sem nem saber ao certo o que é inteligência já parece contraditório

  • Definir inteligência ou consciência é tão difícil porque dependemos completamente de uma amostra de tamanho 1 (humanos) e ainda cobrimos isso com misticismo sem fundamento. Texto relacionado: https://bower.sh/who-will-understand-consciousness

  • Concordo profundamente com isso. Ainda não conseguimos modelar nem a consciência de invertebrados, e não temos uma teoria adequada da "mente". No fim, acho que a IA só está imitando a aparência de compreensão, muito longe de uma inteligência real

• Se a transcrição da entrevista estiver correta, Karpathy em nenhum momento disse, nessa entrevista, que AGI chegaria em 10 anos, nem fez qualquer afirmação concreta sobre quando AGI surgiria. O título do Patel acaba induzindo a erro ao sugerir algo diferente do conteúdo real

  • Com Sutton é a mesma coisa. Em nenhum momento da conversa ele disse algo como "LLM é o ponto final", mas ainda assim isso acaba sendo interpretado desse jeito

• Comparando vibe coding com autocomplete, os modelos LLM atuais têm muitos defeitos cognitivos. Por exemplo, foram treinados de forma tão forte nos jeitos mais comuns de escrever código que vivem entendendo errado abordagens que eu não adotei. E é trabalhoso demais digitar em inglês tudo o que eu quero; se eu for até o ponto certo do código e digitar só alguns caracteres, o autocomplete já sugere o que preciso. Já os modelos acabam tornando a codebase complexa demais, vivem usando código desnecessário e APIs antigas, e no geral nem sei se ajudam tanto assim

• Acho que, mesmo em um mundo com 50% de desemprego, ainda estaremos discutindo se isso é AGI de verdade

• Acho estranho que AGI seja o objetivo em si. O próprio termo IA também é impreciso e não corresponde à essência da coisa. LLM não é inteligência artificial, e isso continua valendo mesmo para um LLM muito grande. Ainda assim, language models são uma tecnologia extremamente útil e potencialmente revolucionária. Chamar LLM de IA é ao mesmo tempo superestimar e subestimar seu valor. Não há motivo para se decepcionar por não ser inteligência artificial; continua sendo uma tecnologia incrível

  • Esse termo gera confusão. Antigamente IA significava todo tipo de inteligência de máquina, como IA simples de xadrez, classificadores de imagem, IA de personagens de videogame etc. Mas hoje muita gente trata IA e AGI (inteligência em nível humano) como se fossem a mesma coisa

• Agora que a Nvidia virou a empresa de maior valor de mercado, a discussão real sobre AGI acabou soterrada por um enorme trem de hype movido a capital. Grande parte do valor dessas empresas se baseia na crença de que AGI será alcançada em um futuro próximo. Se AGI parecer perto demais, parece que as líderes atuais vão dominar todo o mercado; se parecer longe demais, investimento e gastos podem parecer insustentáveis

  • O valor real das empresas talvez dependa menos da expectativa de AGI e mais do fato de que companhias estão despejando muito dinheiro em tecnologia de IA para economizar salários da classe média, automatizando trabalho de escritório e afins

  • Mesmo sem AGI, a IA por si só já pode gerar um valor econômico enorme

  • Exato. Junto com a narrativa de AGI em 5 a 10 anos, isso vem acoplado à ideia de que seriam necessários "trilhões de dólares" de investimento, usando como justificativa uma guerra tecnológica com a China quase como se fosse uma corrida espacial. Em 2024 isso também saiu nas notícias: https://www.cnbc.com/2024/02/09/openai-ceo-sam-altman-reportedly-seeking-trillions-of-dollars-for-ai-chip-project.html