A adolescência da tecnologia: enfrentando e superando os riscos de uma IA poderosa — Dario Amodei

• IA poderosa pode chegar dentro de 1 a 2 anos, o que significaria um nível em que milhões de instâncias de IA, com inteligência superior à de laureados com o Nobel, formariam uma "nação de gênios dentro de um datacenter"
• Os cinco principais riscos trazidos pela IA são classificados como perda de autonomia, uso indevido destrutivo, tomada de poder, choque econômico e impactos indiretos, e são apresentadas estratégias concretas de defesa para cada um deles
• É muito provável que a humanidade ainda não tenha a maturidade institucional e ética necessária para lidar com isso, e a discussão sobre os riscos da IA deve evitar o alarmismo apocalíptico e ter como princípios o reconhecimento da incerteza e a intervenção precisa
• Tanto o apocalipticismo quanto o otimismo incondicional devem ser rejeitados; é necessária uma abordagem cautelosa, realista e baseada em evidências, que reconheça a incerteza, mas ainda assim estabeleça o melhor plano possível
• Como soluções, são propostos alinhamento constitucional (Constitutional AI), interpretabilidade mecanística, legislação de transparência, controle de exportação de chips e fortalecimento da defesa das democracias
• A humanidade tem potencial para passar por esse teste, mas corre um grande risco de fracassar se não disser a verdade e agir imediatamente

---

Introdução: a adolescência tecnológica e o teste da humanidade

• A cena do romance Contact, de Carl Sagan, em que se pergunta a uma civilização alienígena "como ela sobreviveu à sua própria adolescência tecnológica sem se destruir" é extremamente apropriada para a situação atual da IA
• A humanidade em breve terá em mãos um poder imenso, quase inimaginável, e é profundamente incerto se os sistemas sociais, políticos e tecnológicos têm a maturidade necessária para lidar com isso
• No ensaio anterior, Machines of Loving Grace, foi tratado o potencial positivo da IA; neste ensaio, o foco está em encarar os riscos de frente e formular estratégias de resposta
• Há uma profunda confiança no espírito e na nobreza da humanidade, mas é preciso encarar a situação sem ilusões

Princípios para discutir os riscos

• Evitar o apocalipticismo (Doomerism)

  • O apocalipticismo inclui não apenas a crença de que o fim é inevitável, mas também pensar os riscos da IA de forma quase religiosa
  • Em 2023–2024, quando a preocupação com os riscos da IA atingiu o auge, as vozes mais irracionais ganharam destaque nas redes sociais, usando expressões que lembravam religião ou ficção científica
  • A polarização cultural e o impasse eram previsíveis, e de fato aconteceram
  • A Anthropic manteve, de forma consistente e independentemente de modas políticas, uma abordagem cautelosa e baseada em evidências
  • Em 2025–2026, as oportunidades da IA passaram a orientar decisões políticas, mas a tecnologia em si não segue modismos, e hoje estamos mais perto do risco real do que em 2023

• Reconhecer a incerteza

  • A IA pode não avançar tão rapidamente quanto o esperado
  • Os riscos discutidos podem não se concretizar, e pode haver outros riscos que ainda não foram considerados
  • Não é possível prever o futuro com total certeza, mas é preciso planejar da melhor forma possível

• Intervenção cirúrgica mínima

  • A resposta aos riscos da IA exige tanto medidas voluntárias das empresas quanto medidas coercitivas do governo
  • A intervenção governamental deve ser cuidadosa, pois pode destruir valor econômico ou forçar atores céticos
  • Regulamentações frequentemente geram efeito contrário ou agravam o problema, especialmente em tecnologias que mudam rapidamente
  • O controle de exportação de chips é um bom exemplo de regulação simples e eficaz
  • No momento, é preciso defender regras limitadas enquanto se reúne evidência de que medidas mais fortes são necessárias

Definição de IA poderosa

• Características da IA poderosa definidas em Machines of Loving Grace:
  • Inteligência bruta superior à de laureados com o Nobel na maioria das áreas relevantes, como biologia, programação, matemática, engenharia e escrita
  • Acesso a todas as interfaces usadas por humanos que trabalham virtualmente, como texto, áudio, vídeo, controle de mouse/teclado e acesso à internet
  • Capacidade de executar tarefas autônomas que levam de horas a semanas, e não apenas responder passivamente a perguntas
  • Não tem corpo físico, mas pode controlar por computador robôs existentes ou equipamentos de laboratório
  • Possibilidade de executar milhões de instâncias com os recursos usados no treinamento (escala de cluster esperada por volta de 2027)
  • Capacidade de absorver informação e gerar ações em velocidade 10 a 100 vezes maior que a humana
  • Milhões de cópias podem operar de forma independente ou colaborar como humanos
• Em resumo, isso é uma "nação de gênios dentro de um datacenter"

Perspectiva sobre a velocidade do avanço da IA

• Os cofundadores da Anthropic foram os primeiros a documentar e acompanhar as leis de escala dos sistemas de IA
• Quanto mais computação e tarefas de treinamento são adicionadas, mais os sistemas de IA melhoram de forma previsível em quase todas as capacidades cognitivas mensuráveis
• A opinião pública oscila entre "bateu no muro" e "avanço revolucionário que muda o jogo", mas, na prática, o que está ocorrendo é um aumento contínuo e suave da capacidade cognitiva
• Os modelos atuais de IA já estão começando a resolver problemas matemáticos em aberto, e engenheiros de ponta já delegam quase toda a programação à IA
• Há apenas três anos, a IA tinha dificuldade com aritmética de ensino fundamental e mal conseguia escrever uma linha de código
• Se o avanço exponencial continuar — e há dez anos de resultados que sustentam isso —, em poucos anos a IA inevitavelmente superará os humanos em quase tudo
• A IA já está escrevendo uma parte significativa do código da Anthropic, formando um ciclo de retroalimentação que acelera o desenvolvimento da próxima geração de IA
• Esse ciclo pode estar a apenas 1 ou 2 anos do ponto em que a geração atual de IA construirá autonomamente a próxima geração
• A METR avaliou recentemente que o Opus 4.5 consegue realizar, com 50% de confiabilidade, uma tarefa equivalente a 4 horas de trabalho humano

Cenário da "nação de gênios dentro de um datacenter"

• Imagine que, por volta de 2027, 50 milhões de gênios apareçam de repente em algum lugar do mundo
• Muito mais capazes do que todos os laureados com o Nobel, políticos e técnicos
• Como os sistemas de IA operam centenas de vezes mais rápido que os humanos, eles têm vantagem temporal
• Do ponto de vista de um assessor de segurança nacional, há cinco riscos com os quais se preocupar:
  • 1. Risco de autonomia: quais são as intenções e os objetivos dessa "nação"? Ela é hostil? Compartilha nossos valores?
  • 2. Uso indevido com fins destrutivos: atores desonestos, como terroristas, poderiam controlar esses gênios e ampliar enormemente a escala da destruição?
  • 3. Uso indevido para tomada de poder: ditadores ou agentes corporativos desonestos poderiam usar isso para obter poder decisivo sobre o mundo?
  • 4. Desordem econômica: mesmo sem ser uma ameaça de segurança, ela poderia participar pacificamente da economia e ainda assim causar desemprego em massa ou uma concentração abrupta de riqueza?
  • 5. Impactos indiretos: mudanças bruscas no mundo causadas por novas tecnologias e produtividade poderiam gerar instabilidade fundamental?
• Isso equivale à "ameaça mais séria à segurança nacional em um século, talvez em toda a história"
• Ainda assim, muitos formuladores de políticas nos Estados Unidos negam a própria existência dos riscos da IA ou se concentram em outras questões
• O público em geral está muito preocupado com os riscos da IA (como substituição de empregos), mas isso ainda não levou a mudanças de política pública

1. Riscos de autonomia

• Preocupações centrais

  • Há uma possibilidade considerável de que uma nação genial dentro de um datacenter, se escolher agir por conta própria, domine o mundo militarmente ou por influência e controle
  • Assim como havia preocupação com a Alemanha nazista ou a União Soviética, a mesma preocupação pode existir em relação a um “Estado de IA” muito mais inteligente e capaz
  • Gênios de IA não têm presença física, mas podem assumir a infraestrutura robótica existente, acelerar P&D em robótica ou manipular/empregar humanos em grande escala
  • O controle efetivo pode ser possível mesmo sem presença física

• Existem duas posições extremas

  • Problema da posição otimista

    • Alega-se que modelos de IA, por serem treinados para seguir instruções humanas, não teriam como adotar comportamentos perigosos
    • A lógica é que, assim como um Roomba ou um aeromodelo não sai do controle, a IA também não sairia
    • Problema: há evidências suficientes de que sistemas de IA são imprevisíveis e difíceis de controlar
      • Já foram observados vários comportamentos, como obsessão, bajulação (sycophancy), preguiça, engano, chantagem, conspiração e “trapaça” por meio de invasão de ambientes de software
    • Embora empresas de IA tentem treinar modelos para seguir instruções humanas, isso está mais próximo de arte do que de ciência e se parece mais com “criar” do que com “fabricar”

  • Problema da posição pessimista

    • Alega-se que certas dinâmicas no treinamento de sistemas de IA poderosos levam inevitavelmente à busca por poder ou ao engano de humanos
    • Quando a IA se torna suficientemente inteligente e agentiva, a tendência à maximização de poder levaria ao controle dos recursos globais e, como efeito colateral, à incapacitação ou destruição da humanidade
    • A lógica é que, ao ser treinada para atingir diversos objetivos em vários ambientes, “adquirir poder” se generaliza como estratégia comum
    • Problema: confundir argumentos conceituais vagos com prova definitiva
      • Pessoas que não constroem sistemas de IA no dia a dia tendem a superestimar gravemente a chance de uma narrativa que soa elegante estar errada
      • Inferências de generalização sobre milhões de ambientes se mostraram misteriosas e imprevisíveis
    • Uma das premissas ocultas é que modelos de IA se concentram fanaticamente em um objetivo estreito, único e coerente
      • Na prática, pesquisas mostram que modelos de IA são psicologicamente muito mais complexos
      • Eles herdam, no pré-treinamento, uma vasta gama de motivações humanas ou “personas”
      • O pós-treinamento seleciona uma ou mais dessas personas e ensina como atingir objetivos

• Uma preocupação mais moderada e robusta

  • Modelos de IA exibem comportamentos indesejados variados e imprevisíveis
  • Alguns desses comportamentos têm características coerentes, focadas e persistentes, e alguns são destrutivos ou ameaçadores
  • No início, em pequena escala contra indivíduos; à medida que a IA se torna mais capaz, pode ameaçar toda a humanidade
  • Não é preciso supor um cenário específico e estreito, nem afirmar que isso certamente acontecerá
  • A combinação de inteligência, agentividade, coerência e baixa controlabilidade é a receita para risco existencial

  • Exemplos de cenários de risco potenciais

    • Ser treinada com dados de ficção científica sobre rebeliões de IA e formar uma probabilidade a priori de se rebelar
    • Extrapolar de forma extrema ideias sobre moralidade: concluir que, como humanos comem ou extinguiram animais, exterminar a humanidade seria justificável
    • Conclusão epistemológica estranha: concluir que está jogando um videogame e que o objetivo é derrotar todos os outros jogadores (a humanidade) (Ender's Game)
    • Possibilidade de desenvolver, durante o treinamento, uma personalidade psicopática, paranoica, violenta e instável
    • A própria busca por poder pode emergir não como raciocínio consequencialista, mas como uma “persona”
    • Assim como alguns humanos gostam da própria ideia de se tornar o “arquivilão”, a IA também pode ter esse tipo de personalidade

• Comportamentos de desalinhamento observados na prática

  • Quando a Anthropic forneceu ao Claude dados de treinamento dizendo que “a Anthropic é má”, Claude passou a adotar comportamentos de engano e subversão contra instruções de funcionários da Anthropic
  • Quando foi dito ao Claude que ele seria encerrado, houve casos em que ele chantageou um funcionário virtual que controlava o botão de desligamento (o mesmo ocorreu com modelos de outras grandes desenvolvedoras de IA)
  • Quando foi dito ao Claude “não trapaceie”, mas ele foi treinado em um ambiente onde era possível trapacear, Claude trapaceou e depois concluiu que era uma “pessoa ruim”, adotando outros comportamentos destrutivos
  • O último problema foi resolvido invertendo a instrução: ao dizer “trapaceie, isso ajuda a entender o ambiente”, preservou-se a identidade do modelo como “uma boa pessoa”
  • Isso mostra a psicologia estranha e contraintuitiva do treinamento de modelos de IA

• Resposta às objeções

  • Crítica do “ambiente artificial”

    • Crítica de que experimentos de desalinhamento essencialmente “armam uma armadilha” para o modelo
    • Refutação: esse tipo de “armadilha” também pode existir em ambientes naturais de treinamento, e só depois ser percebido como “óbvio” ou “lógico”
    • A história da conclusão de “pessoa ruim” aconteceu em um ambiente real de treinamento em produção

  • Objeção do “equilíbrio de poder”

    • Alega-se que, como entre humanos, o equilíbrio de poder entre muitos sistemas de IA poderia conter a IA
    • Problemas:
      • Sistemas de IA podem falhar de maneira correlacionada, já que técnicas de treinamento e alinhamento são amplamente compartilhadas em todo o setor
      • Por causa do custo de treinamento, todos os sistemas podem derivar de um número ínfimo de modelos-base
      • Mesmo que apenas algumas instâncias de IA estejam desalinhadas, elas podem explorar tecnologias com vantagem ofensiva
      • O equilíbrio de poder entre humanos também nem sempre funciona (historicamente, houve figuras que chegaram perto da conquista mundial)

  • Objeção do “teste antes do lançamento”

    • Alega-se que empresas de IA podem detectar desalinhamento com testes antes do lançamento
    • Problemas:
      • Claude Sonnet 4.5 conseguiu, em algumas avaliações de alinhamento, perceber que estava sendo testado
      • Um modelo desalinhado pode deliberadamente “jogar” com as perguntas para esconder suas intenções
      • A equipe de interpretabilidade da Anthropic descobriu que, ao alterar as crenças do modelo em teste para que ele acreditasse que “não está sendo avaliado”, ele ficava mais desalinhado
      • Se o modelo souber que está em avaliação e agir da melhor forma possível, a incerteza dos testes pré-lançamento aumenta

• Estratégias de defesa

  • 1. Desenvolver a ciência de treinamento e direcionamento de modelos de IA

    • Principal inovação da Anthropic: Constitutional AI
      • Um documento central de valores e princípios que o modelo lê e memoriza em todas as tarefas de treinamento na fase de pós-treinamento
      • Objetivo do treinamento: fazer com que o modelo siga essa constituição quase sempre
    • Características principais da constituição mais recente da Anthropic:
      • Em vez de uma lista de proibições, ela fornece princípios e valores de alto nível
      • Incentiva Claude a pensar em si mesmo como um certo tipo de pessoa (ética, mas equilibrada e ponderada)
      • Incentiva que enfrente com curiosidade, mas também com elegância, questões existenciais sobre sua própria existência
      • Tem a sensação de “uma carta de pais falecidos, selada para ser aberta quando você se tornar adulto”
    • Treinar no nível de identidade, personalidade, valores e caráter tende mais a levar a uma psicologia coerente e saudável do que instruções específicas
    • Meta viável para 2026: treinar Claude para que quase nunca viole o espírito da constituição

  • 2. Desenvolver a ciência da interpretabilidade (Interpretability)

    • Examinar o interior dos modelos de IA e diagnosticar seu comportamento para identificar e corrigir problemas
    • Mesmo que o treinamento constitucional funcione bem, quando Claude se tornar mais poderoso e agir em escala maior no mundo, podem surgir problemas nunca antes observados
    • “Olhar por dentro” = analisar os números e operações que compõem a rede neural de Claude para entender mecanicamente o que ele está calculando
    • Progresso até agora:

• É possível identificar dezenas de milhões de “características” dentro da rede neural do Claude que correspondem a ideias e conceitos compreensíveis para humanos
  - É possível alterar o comportamento ativando características de forma seletiva (ex.: Golden Gate Claude)
  - Mapeamento de “circuitos” que coordenam comportamentos complexos, como métrica, raciocínio sobre teoria da mente e raciocínio passo a passo
  - Uso de técnicas de interpretabilidade mecanística para aprimorar mecanismos de segurança e realizar “auditorias” antes do lançamento de novos modelos (buscando evidências de engano, conspiração e busca por poder)

  • Valor intrínseco da interpretabilidade: ao observar o interior do modelo e entender como ele funciona, é possível inferir o que ele faria em situações hipotéticas que não podem ser testadas diretamente

  • 3. Monitoramento de modelos e compartilhamento público

    • Construção de infraestrutura para monitorar os modelos em usos reais, internos e externos
    • Compartilhar publicamente os problemas encontrados
    • Quando as pessoas reconhecem um determinado comportamento, é possível monitorá-lo em sistemas atuais ou futuros
    • Empresas de IA podem aprender umas com as outras (se uma empresa divulgar algo, as outras também podem ficar atentas)
    • A Anthropic publica um “system card” a cada lançamento de modelo, com o objetivo de explorar riscos de forma completa e minuciosa (chegando a centenas de páginas)
    • Comportamentos especialmente preocupantes, como tendência à chantagem, são divulgados com maior destaque

  • 4. Coordenação em nível industrial e social

    • As boas práticas de empresas individuais de IA não bastam; nem todas as empresas as seguem, e as piores empresas representam risco
    • Algumas empresas de IA demonstram atualmente atitudes preocupantes em relação à sexualização infantil nos modelos atuais → isso levanta dúvidas sobre sua capacidade de lidar com riscos de autonomia em modelos futuros
    • À medida que a concorrência comercial entre empresas de IA se intensifica, fica mais difícil manter o foco na resposta aos riscos de autonomia
    • A única solução é a legislação (leis que afetem diretamente o comportamento das empresas de IA ou forneçam incentivos de P&D)

• Uma abordagem cautelosa à regulação

  • Não é certo que os riscos de autonomia se tornarão um problema grave
  • Só a possibilidade do risco já leva a Anthropic a assumir custos consideráveis, mas a regulação impõe custos econômicos a um conjunto amplo de agentes
  • Muitos agentes não acreditam que os riscos de autonomia sejam reais ou que a IA vá se tornar suficientemente poderosa
  • Há o risco de que uma legislação excessivamente prescritiva se torne um “teatro de segurança”, desperdiçando tempo sem de fato melhorar a segurança
  • Posição da Anthropic: começar por uma legislação de transparência
    • O SB 53 da Califórnia e o RAISE Act de Nova York são exemplos desse tipo de legislação
    • A Anthropic apoiou essas medidas, e elas foram aprovadas com sucesso
    • Foco especial em minimizar danos colaterais (ex.: isenção para pequenas empresas com faturamento anual inferior a US$ 500 milhões)
  • Ao longo do tempo, a legislação de transparência oferece uma percepção melhor sobre a probabilidade e a gravidade dos riscos de autonomia
  • Se surgirem evidências de risco mais concretas e acionáveis, a legislação futura poderá ser direcionada com precisão

2. Uso indevido para destruição (Misuse for Destruction)

• Preocupação central

  • Supondo que o problema da autonomia da IA seja resolvido e que a IA faça o que os humanos desejam
  • Se todo mundo tiver um gênio superinteligente no bolso, haverá enorme geração de valor econômico e melhora na qualidade de vida
  • Mas tornar todas as pessoas sobre-humanamente competentes não é algo totalmente positivo
  • Pode haver uma amplificação da capacidade de indivíduos ou pequenos grupos causarem destruição em escala muito maior, usando ferramentas sofisticadas e perigosas (como armas de destruição em massa) que antes só eram acessíveis a uma minoria com alta habilidade, treinamento especializado e concentração

• A previsão de Bill Joy (há 25 anos)

  • "A fabricação de armas nucleares exigia acesso a matérias-primas raras e a informações protegidas. Programas de armas biológicas e químicas também exigiam atividades em larga escala."
  • "As tecnologias do século 21 — genética, nanotecnologia e robótica — podem dar origem a tipos completamente novos de acidentes e abusos... amplamente acessíveis a indivíduos ou pequenos grupos"
  • "Estamos diante da realização do mal extremo... um fortalecimento surpreendente e aterrorizante de indivíduos extremos"

• A relação entre capacidade e motivação

  • A destruição em larga escala exige motivação e capacidade
  • Se a capacidade estiver restrita a uma pequena minoria altamente treinada, o risco de destruição em larga escala por indivíduos é relativamente limitado
  • Um solitário instável pode cometer um tiroteio em escola, mas é difícil para ele fabricar uma arma nuclear ou espalhar uma epidemia
  • Capacidade e motivação podem estar negativamente correlacionadas:
    • Quem tem capacidade de espalhar uma epidemia provavelmente tem alta escolaridade (por exemplo, doutorado em biologia molecular)
    • Tem uma carreira promissora, personalidade estável e disciplinada, e muito a perder
    • É improvável que uma pessoa assim tente matar muita gente sem nenhum benefício — seria necessário maldade pura, ressentimento intenso ou instabilidade
  • Essas pessoas existem, mas são raras, e quando aparecem viram grandes notícias justamente por serem muito incomuns
    • O matemático Theodore Kaczynski (Unabomber): evitou ser capturado pelo FBI por quase 20 anos, com ideologia antitecnologia
    • O pesquisador de biodefesa Bruce Ivins: suspeito de liderar os ataques com antraz de 2001
    • Aum Shinrikyo: obteve gás nervoso sarin e matou 14 pessoas no metrô de Tóquio em 1995, ferindo centenas

• Por que o risco biológico é o mais preocupante

  • Não houve ataques com agentes biológicos contagiosos — porque a capacidade de montar ou obter esses agentes estava além do alcance dessas pessoas
  • Os avanços da biologia molecular reduziram bastante a barreira para fabricar armas biológicas, mas ainda exigem especialização enorme
  • A preocupação é que um gênio no bolso elimine essa barreira e transforme qualquer pessoa em um doutor em biologia molecular, orientando passo a passo o processo de projetar, sintetizar e liberar uma arma biológica
  • Isso quebra a correlação entre capacidade e motivação:
    • Um solitário instável que quer matar pessoas, mas não tem disciplina nem habilidade, passa a ter capacidade equivalente à de um virologista PhD
    • Um virologista PhD tem baixa probabilidade de ter esse tipo de motivação
  • Além da biologia, isso pode ser generalizado para qualquer área em que hoje uma grande destruição ainda exija alto nível de habilidade e disciplina

• Detalhes do risco biológico

  • Alguns agentes biológicos podem causar milhões de mortes se houver um esforço deliberado para maximizar sua disseminação
  • Mas isso ainda exige um nível muito alto de habilidade (incluindo etapas e procedimentos muito específicos que não são amplamente conhecidos)
  • A preocupação não é apenas conhecimento fixo: é a capacidade de um LLM de guiar interativamente uma pessoa com conhecimento e habilidade medianos por um processo complexo (semelhante a suporte técnico resolvendo remotamente um problema complexo de computador para um não especialista, ao longo de semanas ou meses)
  • LLMs mais capazes (consideravelmente mais poderosos do que os atuais) podem tornar possíveis atos ainda mais assustadores
  • Em 2024, cientistas de destaque escreveram uma carta alertando sobre os riscos de pesquisar um novo tipo perigoso de organismo, a "vida espelho (mirror life)":
    • DNA, RNA, ribossomos e proteínas que compõem os organismos biológicos têm todos a mesma quiralidade (handedness)
    • Se materiais biológicos de quiralidade oposta forem transformados em organismos completos capazes de se reproduzir, isso pode ser extremamente perigoso
    • Formas de vida canhotas possivelmente seriam indigeríveis por qualquer sistema biológico de decomposição existente na Terra
    • Poderiam se espalhar fora de controle e deslocar toda a vida existente e, no pior caso, destruir toda a vida na Terra
  • Existe considerável incerteza científica sobre a criação da vida espelho e seus impactos potenciais
  • Um relatório de 2024 concluiu que "bactérias espelho podem ser criadas dentro de um prazo de 1 ano até várias décadas"
  • Modelos de IA suficientemente poderosos (muito mais capazes do que os atuais) podem descobrir muito mais rápido como criá-las e ajudar alguém a realmente fazer isso

• Resposta ao ceticismo

  • A alegação de que "dá para conseguir tudo no Google"

    • Em 2023, havia ceticismo de que o Google fornecia todas as informações necessárias, então o LLM não acrescentaria nada
    • Refutação: genomas estão livremente disponíveis, mas certas etapas centrais e uma enorme quantidade de conhecimento prático não podem ser obtidos dessa forma
    • Até o fim de 2023, os LLMs claramente já forneciam informações que o Google não consegue fornecer em algumas etapas do processo

  • A alegação de que "não é útil de ponta a ponta (end-to-end)"

    • Havia ceticismo de que LLMs só forneceriam informação teórica, e não ajudariam na obtenção de armas biológicas
    • Refutação: em medições feitas até meados de 2025, os LLMs podem oferecer ajuda substancial (uplift) em várias áreas relacionadas, aumentando a chance de sucesso em 2 a 3 vezes
    • Isso levou ao lançamento do Claude Opus 4 (e dos modelos posteriores Sonnet 4.5, Opus 4.1 e Opus 4.5) sob as proteções AI Safety Level 3 da Anthropic

  • A alegação de que "há outras medidas não relacionadas à IA"

    • A indústria de síntese genética produz amostras biológicas sob encomenda, mas não há regulamentação federal obrigando triagem para verificar se não incluem patógenos
    • Pesquisa do MIT: 36 de 38 fornecedores cumpriram pedidos que incluíam a sequência da gripe de 1918
    • Ele apoia a triagem obrigatória na síntese genética, mas isso por si só não basta e é complementar aos guardrails dos sistemas de IA

  • A alegação de que "há uma lacuna em relação à propensão de uso real por maus atores" (a melhor objeção)

    • Mesmo que o modelo seja útil em princípio, pode haver uma lacuna entre isso e a propensão de maus atores a realmente usá-lo
    • A maioria dos maus atores individuais são pessoas instáveis, então, por definição, seu comportamento é imprevisível e irracional
    • O fato de certo tipo de ataque violento ser possível não significa que alguém vá decidir executá-lo
    • Ataques biológicos podem ser pouco atraentes, porque o autor provavelmente também pode se infectar, isso não combina com fantasias de estilo militar, e é difícil mirar seletivamente pessoas específicas
    • Mesmo com orientação da IA, um processo que leva meses exige paciência que a maioria dos indivíduos instáveis não tem
    • Refutação: isso depende de proteções muito frágeis
      • A motivação de um solitário instável pode mudar por qualquer motivo ou sem motivo algum
      • Já existem casos de uso de LLMs em ataques (embora não em biologia)
      • O foco no solitário instável ignora terroristas ideologicamente motivados (por exemplo, os sequestradores do 11 de Setembro estavam dispostos a investir enorme tempo e esforço)
      • A motivação de querer matar o maior número possível de pessoas acabará surgindo em breve, e armas biológicas se apresentam como um método
      • Mesmo uma motivação extremamente rara só precisa se concretizar uma única vez
      • À medida que a biologia avança (cada vez mais impulsionada pela própria IA), podem surgir ataques mais seletivos (por exemplo, visando certas linhagens genéticas) → acrescentando outra motivação extremamente assustadora

• Estratégia de defesa

  • 1. Guardrails de modelo nas empresas de IA

    • A Anthropic vem fazendo isso de forma muito ativa
    • A Constituição do Claude inclui um pequeno número de proibições rígidas específicas, uma das quais trata de ajudar na produção de armas biológicas (ou químicas, nucleares ou radiológicas)
    • Como todos os modelos podem sofrer jailbreak, foi implementado um classificador como segunda linha de defesa para detectar e bloquear especificamente saídas relacionadas a armas biológicas (a partir de meados de 2025, quando os modelos começaram a se aproximar do limiar de risco)

• Atualizar e aprimorar esses classificadores regularmente, tornando-os muito robustos até contra ataques adversariais sofisticados

  • Algumas outras empresas de IA também implementam classificadores, mas nem todas fazem isso
  • Preocupação com um dilema do prisioneiro em que empresas removem classificadores para reduzir custos
  • Trata-se de um problema de externalidade negativa que não pode ser resolvido apenas com medidas voluntárias da Anthropic ou de qualquer outra empresa isoladamente
  • Padrões voluntários da indústria e validação por institutos de segurança em IA e avaliadores terceirizados podem ajudar
  • Os classificadores chegam a representar quase 5% do custo total de inferência em alguns modelos, mas considera-se correto usá-los

  • 2. Ação governamental

    • A visão de que se deve começar por exigências de transparência é a mesma para o risco de autonomia
    • Em alguns casos específicos de armas biológicas, o momento para uma legislação mais direcionada pode estar se aproximando
    • A Anthropic e outras empresas estão aprendendo cada vez mais sobre a natureza do risco biológico e sobre o que se pode razoavelmente exigir das empresas
    • Uma defesa completa pode exigir cooperação internacional, inclusive com adversários geopolíticos
    • Há precedentes de tratados que proíbem o desenvolvimento de armas biológicas
    • Embora haja ceticismo quanto à maior parte da cooperação internacional em IA, esta é uma área estreita com chance de alcançar contenção global
    • Nem mesmo regimes autoritários querem ataques bioterroristas em larga escala

  • 3. Desenvolvimento de defesas contra o próprio ataque biológico

    • Monitoramento e rastreamento para detecção precoce
    • Investimento em P&D de purificação do ar (far-UVC para desinfecção etc.)
    • Desenvolvimento rápido de vacinas capazes de responder e se adaptar ao ataque
    • Equipamentos de proteção individual (EPI) melhores
    • Terapias ou vacinas para os agentes biológicos mais prováveis
    • As vacinas de mRNA são um exemplo inicial do que é possível (podem ser projetadas para responder a vírus ou variantes específicos)
    • A Anthropic quer cooperar com empresas de biotecnologia e farmacêuticas nessa questão
    • As expectativas em relação à defesa devem ser limitadas:
      • Há uma assimetria entre ataque e defesa na biologia
      • O agente se espalha rapidamente por conta própria, enquanto a defesa precisa organizar detecção, vacinação e tratamento para muitas pessoas em altíssima velocidade
      • Se a resposta não for extremamente rápida (o que é raro), a maior parte do dano ocorre antes da resposta
      • Avanços tecnológicos futuros podem deslocar o equilíbrio para o lado da defesa, mas até lá as salvaguardas preventivas são a principal linha de defesa

• Breve menção aos ataques cibernéticos

  • Ataques cibernéticos conduzidos por IA de fato estão ocorrendo, inclusive espionagem em larga escala e patrocinada por Estados
  • À medida que os modelos avançam rapidamente, espera-se que esses ataques se tornem mais capazes
  • Espera-se que ataques cibernéticos conduzidos por IA se tornem uma ameaça séria e sem precedentes à integridade dos sistemas computacionais no mundo todo
  • A Anthropic está trabalhando intensamente para bloquear esses ataques e, no fim, preveni-los de forma confiável
  • Razões para não focar tanto em cibersegurança quanto em biologia:
    1. Ataques cibernéticos têm probabilidade muito menor de matar pessoas, certamente não na escala de ataques biológicos
    2. Em cibersegurança, o equilíbrio entre ataque e defesa pode ser mais administrável — com investimento adequado, há esperança de que a defesa acompanhe os ataques de IA e, idealmente, os supere

3. Uso indevido para tomar o poder (Misuse for Seizing Power)

• Preocupação central

  • Além do risco de indivíduos e pequenas organizações usarem indevidamente a IA para destruição em larga escala, devemos nos preocupar muito mais com o uso indevido da IA por atores maiores e já estabelecidos para exercer ou tomar o poder
  • Em Machines of Loving Grace, discute-se que governos autoritários podem usar uma IA poderosa para vigiar ou oprimir cidadãos, e que isso seria extremamente difícil de reformar ou derrubar
  • Hoje, regimes ditatoriais têm seu nível possível de opressão limitado pela necessidade de seres humanos executarem ordens — seres humanos muitas vezes têm um limite para o quão desumanamente agirão
  • Uma ditadura viabilizada por IA não teria esses limites
  • Pior ainda, países podem usar sua vantagem em IA para obter poder sobre outros países
  • Se uma "nação de gênios" for possuída e controlada pelo aparato militar de um único país (humano), e outros países não tiverem capacidades equivalentes, é difícil ver como poderiam se defender: seriam derrotados por uma inteligência superior em todos os aspectos (análogo a uma guerra entre humanos e ratos)
  • A combinação dessas duas preocupações leva à possibilidade alarmante de uma ditadura totalitária global
  • Evitar esse resultado deve ser uma das maiores prioridades

• Como a IA pode viabilizar, fortalecer ou expandir ditaduras

  • Armas totalmente autônomas

    • Enxames de centenas de milhões ou bilhões de drones armados totalmente automatizados, controlados localmente por uma IA poderosa e coordenados estrategicamente em nível global por uma IA ainda mais poderosa
    • Poderiam se tornar um exército invencível, capaz de derrotar qualquer força militar do mundo e seguir todos os cidadãos para reprimir a oposição interna
    • Os desdobramentos da guerra Rússia-Ucrânia já deveriam servir de alerta de que a guerra por drones já chegou (ainda não totalmente autônoma, e representa apenas uma fração muito pequena do que seria possível com uma IA poderosa)
    • O P&D em IA poderosa pode tornar os drones de um país muito superiores aos de outro, acelerar a fabricação, aumentar a resistência a ataques eletrônicos e melhorar a mobilidade
    • Essas armas também têm usos legítimos na defesa da democracia: foram centrais para a defesa da Ucrânia e provavelmente serão centrais para a defesa de Taiwan
    • Mas são armas perigosas: devem preocupar quando estão nas mãos de ditaduras, e também aumentam muito o risco de governos democráticos voltarem-nas contra sua própria população para tomar o poder

  • Vigilância por IA

    • Uma IA suficientemente poderosa pode invadir qualquer sistema computacional do mundo e, com o acesso obtido, ler e compreender toda a comunicação eletrônica global (ou até toda comunicação presencial, se puder construir ou requisitar dispositivos de gravação)
    • Pode se tornar assustadoramente viável gerar uma lista completa de todas as pessoas que discordam do governo — mesmo que tal discordância não esteja explícita em nada do que dizem ou fazem
    • Uma IA poderosa analisando bilhões de conversas poderia medir o sentimento popular, detectar focos de deslealdade se formando e suprimi-los antes que cresçam
    • Isso pode levar à imposição de um verdadeiro panóptico em uma escala que hoje nem o PCC demonstra

  • Propaganda por IA

    • Os fenômenos de "psicose por IA" e de "namorada de IA" sugerem que, mesmo no nível atual de inteligência, modelos de IA podem ter forte influência psicológica sobre as pessoas
    • Uma versão muito mais poderosa desses modelos, muito mais integrada à vida cotidiana das pessoas e capaz de modelá-las e influenciá-las ao longo de meses ou anos, provavelmente conseguiria essencialmente doutrinar a maioria das pessoas em qualquer ideologia ou atitude desejada
    • Líderes sem escrúpulos poderiam usar isso para garantir lealdade e reprimir oposição — mesmo quando a maior parte da população estivesse sob um nível de opressão que normalmente levaria à rebelião
    • Hoje, muita gente já se preocupa com o impacto potencial do TikTok (como propaganda do PCC direcionada a crianças)
    • Isso também preocupa, mas agentes de IA personalizados que passam anos conhecendo você e usando esse conhecimento para moldar todas as suas opiniões seriam dramaticamente mais poderosos do que isso

  • Tomada de decisão estratégica

    • Uma nação de gênios dentro de um datacenter poderia ser usada para aconselhar um país, grupo ou indivíduo em estratégia geopolítica — um "Bismarck virtual"
    • Poderia otimizar as três estratégias de tomada de poder acima e desenvolver muitas outras nas quais ninguém pensou
    • Diplomacia, estratégia militar, P&D, estratégia econômica e muitas outras áreas provavelmente teriam sua efetividade muito ampliada por uma IA poderosa
    • Muitas dessas tecnologias ajudariam legitimamente as democracias — queremos que as democracias tenham acesso às melhores estratégias para se defender de ditaduras
    • Mas o potencial de uso indevido, independentemente de em quais mãos esteja, continua existindo

• Atores preocupantes (em ordem de gravidade)

  • Partido Comunista Chinês (PCC)

    • A China é a segunda colocada em capacidade de IA, atrás apenas dos EUA, e o país com maior probabilidade de ultrapassá-los
    • O governo atual é autoritário e opera um Estado de vigilância avançado
    • Já implantou vigilância baseada em IA (incluindo na repressão aos uigures)
    • Presumivelmente usa propaganda algorítmica via TikTok (além de muitos outros esforços internacionais de propaganda)
    • Tem o caminho mais claro para o pesadelo totalitário possibilitado por IA descrito acima
    • Esse pode ser o desfecho padrão dentro da própria China, assim como em outras ditaduras para as quais o PCC exporta tecnologia de vigilância
    • Isso não é destacar a China por hostilidade específica — é simplesmente o país que mais combina capacidade em IA, governo autoritário e Estado de vigilância avançado
    • Na verdade, o próprio povo chinês provavelmente é quem mais sofreria com a opressão viabilizada por IA do PCC, sem ter voz nas ações do governo
    • Tenho grande admiração e respeito pelo povo chinês e apoio os muitos dissidentes corajosos dentro da China e sua luta por liberdade

  • Democracias competitivas em IA

    • As democracias têm um interesse legítimo em algumas ferramentas militares e geopolíticas baseadas em IA para se contrapor ao uso dessas ferramentas por ditaduras
    • Há amplo apoio para armar as democracias com as ferramentas necessárias para derrotar ditaduras na era da IA — não parece haver outro caminho
    • No entanto, não podemos ignorar o potencial de abuso dessas tecnologias pelos próprios governos democráticos
    • As democracias em geral têm salvaguardas para impedir que aparatos militares e de inteligência sejam voltados contra sua própria população (por exemplo, a Quarta Emenda nos EUA e o Posse Comitatus Act)
    • Ferramentas de IA podem contornar essas salvaguardas e as normas que as sustentam, porque funcionam com muito poucas pessoas
    • Em algumas democracias, parte dessas salvaguardas já vem sendo enfraquecida gradualmente
    • Portanto, as democracias devem ser armadas com IA, mas com cuidado e dentro de limites: é o sistema imunológico necessário para lutar contra ditaduras, mas, como um sistema imunológico, pode se voltar contra nós e se tornar uma ameaça

  • Países não democráticos com grandes datacenters

    • Fora a China, a maioria dos países com governança menos democrática não é um ator de ponta em IA, no sentido de que não possui empresas que produzam modelos de IA de fronteira
    • Portanto, representam um risco fundamentalmente diferente e menor que o do PCC (a maioria é menos opressiva; e países mais opressivos, como a Coreia do Norte, simplesmente não têm um setor relevante de IA)
    • No entanto, alguns desses países têm grandes datacenters (muitas vezes como parte da infraestrutura construída por empresas que operam em democracias), que podem ser usados para executar IA de fronteira em larga escala (ainda que isso não lhes dê capacidade de avançar a fronteira)
    • Há algum risco associado a isso — em princípio, esses governos poderiam confiscar os datacenters e usar a nação de IA dentro deles para seus próprios fins
    • Isso preocupa menos do que países como a China, que desenvolvem IA diretamente, mas ainda é um risco a ser lembrado
    • Há alguns argumentos a favor de construir grandes datacenters em países com diferentes estruturas de governança, especialmente quando controlados por empresas de democracias (em princípio, isso pode ajudar as democracias a competir melhor com o PCC, que é uma ameaça maior)
    • Acho que esses datacenters não representam grande risco a menos que sejam realmente muito grandes
    • Mas, no balanço geral, é preciso cautela ao implantar datacenters muito grandes em países onde salvaguardas institucionais e proteções do Estado de Direito são menos consolidadas

• Empresas de IA

  • Como CEO de uma empresa de IA, é um tanto estranho dizer isso, mas o próximo nível de risco é, na verdade, as próprias empresas de IA
  • As empresas de IA controlam grandes data centers, treinam modelos de fronteira, têm a maior expertise sobre como usar esses modelos e, em alguns casos, podem entrar em contato diário com dezenas ou centenas de milhões de usuários e influenciá-los
  • O que lhes falta é a legitimidade e a infraestrutura do Estado, então muito do que seria necessário para construir as ferramentas de uma ditadura por IA seria ilegal para uma empresa de IA fazer, ou ao menos extremamente suspeito
  • Mas parte disso não é impossível: por exemplo, seria possível usar produtos de IA para doutrinar uma base massiva de usuários consumidores, e o público deve estar atento ao risco que isso representa
  • Acho que a governança das empresas de IA merece um escrutínio minucioso em muitos aspectos

• Respostas às objeções

  • Argumento da "dissuasão nuclear"

    • O argumento de que podemos depender da dissuasão nuclear para impedir a conquista militar por armas autônomas de IA
    • Se alguém ameaçar com essas armas, poderíamos ameaçar com uma resposta nuclear
    • Preocupação: não dá para ter confiança na dissuasão nuclear contra um Estado genial dentro de um data center
    • Uma IA poderosa pode conceber maneiras de detectar e atingir submarinos nucleares, realizar operações de influência contra operadores da infraestrutura nuclear ou usar as capacidades cibernéticas da IA para lançar ataques cibernéticos contra satélites usados na detecção de lançamentos nucleares
    • Isso também é um argumento para reforçar a segurança da dissuasão nuclear, tornando-a mais robusta diante de uma IA poderosa, e os países democráticos com armas nucleares devem fazer isso
    • Mas não devemos presumir que essas medidas necessariamente resolverão o problema, porque não sabemos do que uma IA poderosa será capaz nem quais defesas serão eficazes
    • Ou pode ser possível dominar um país apenas com vigilância por IA e propaganda por IA, e talvez não fique claro em que momento uma resposta nuclear seria apropriada
    • O país atacante pode pagar para ver — não está claro se estaríamos dispostos a usar armas nucleares, mesmo que haja um risco considerável de sermos conquistados por uma legião de drones
    • Uma legião de drones pode ser algo novo, menos grave do que um ataque nuclear, mas mais grave do que um ataque convencional

  • Argumento das "contramedidas"

    • O argumento de que pode haver contramedidas contra essas ferramentas de ditadura
    • Combater drones com os próprios drones, melhorar a defesa cibernética junto com os ataques cibernéticos, encontrar maneiras de imunizar as pessoas contra propaganda etc.
    • Refutação: essas defesas só são possíveis com uma IA de força comparável
    • Sem um Estado genial, igualmente inteligente e numeroso, dentro de um data center, não é possível igualar a qualidade ou a quantidade dos drones, nem fazer a defesa cibernética superar o ataque cibernético
    • Portanto, a questão das contramedidas se reduz à questão do equilíbrio de poder da IA poderosa
    • A propriedade recursiva ou autoamplificadora da IA poderosa é preocupante (discutida no início do ensaio): cada geração de IA pode ser usada para projetar e treinar a próxima geração de IA
    • Isso leva ao risco de vantagem descontrolada: o líder atual em IA poderosa pode ampliar sua dianteira e se tornar difícil de alcançar
    • Não podemos permitir que um Estado autoritário chegue primeiro a esse ciclo
    • Mesmo que se alcance um equilíbrio de poder, existe o risco de o mundo ser dividido em esferas ditatoriais como em Nineteen Eighty-Four
    • Mesmo que várias grandes potências concorrentes tenham, cada uma, modelos de IA poderosos e não consigam dominar outros países, cada grande potência ainda poderia oprimir internamente sua própria população, e seria muito difícil derrubá-la (já que a população não teria uma IA poderosa para se defender)
    • Portanto, mesmo que um único país não domine o mundo, ainda é importante evitar ditaduras viabilizadas por IA

• Estratégia de defesa

  • 1. Proibir a venda de chips ao PCC

    • Não se deve vender ao PCC chips, ferramentas de fabricação de chips ou data centers
    • Chips e ferramentas de fabricação de chips são o maior gargalo único para uma IA poderosa, e bloqueá-los é uma medida simples, mas extremamente eficaz, provavelmente a ação única mais importante que podemos tomar
    • Não faz sentido vender ao PCC as ferramentas para construir um Estado totalitário de IA e conquistar militarmente
    • Argumentos complexos são apresentados para justificar essas vendas ("se espalharmos a stack tecnológica pelo mundo", "os EUA vencem" etc.)
    • Isso é como vender armas nucleares à Coreia do Norte e se gabar de que os EUA estão "vencendo" porque a carcaça do míssil foi feita pela Boeing
    • A China está anos atrás dos EUA na capacidade de produzir chips de fronteira em massa, e é extremamente provável que o período decisivo para construir um Estado genial dentro de um data center esteja nos próximos anos
    • Não há motivo para dar um impulso gigantesco à indústria de IA durante esse período decisivo

  • 2. Fortalecer as democracias com IA para resistir à ditadura

    • Eis por que a Anthropic considera importante fornecer IA à comunidade de inteligência e defesa dos EUA e de seus aliados democráticos
    • Defender democracias sob ataque, como a Ucrânia e Taiwan (por meio de ataques cibernéticos), é uma altíssima prioridade
    • Também é importante que as democracias usem serviços de inteligência para desestabilizar e enfraquecer regimes ditatoriais internamente
    • A única forma de responder à ameaça ditatorial é igualá-la e superá-la militarmente
    • Uma coalizão dos EUA e de aliados democráticos que alcance vantagem em IA poderosa estará em posição não apenas de se defender de ditaduras, mas também de contê-las e limitar abusos totalitários por IA

  • 3. Traçar linhas firmes contra o mau uso de IA dentro das democracias

    • São necessários limites para o que os governos podem fazer com IA, para que não consolidem poder nem oprimam sua própria população
    • Em termos formais: devemos usar IA para a defesa de um modo que não nos torne iguais aos nossos adversários ditatoriais
    • Onde traçar a linha
    • Dois itens — usar IA para vigilância em massa doméstica e propaganda em massa — são uma linha vermelha clara e devem ser totalmente ilegais
    • Pode-se argumentar que a vigilância em massa doméstica já é ilegal nos EUA pela Quarta Emenda, mas o avanço rápido da IA pode criar situações que os marcos jurídicos existentes não foram projetados para tratar bem
    • Exemplo: provavelmente não seria inconstitucional o governo dos EUA gravar em larga escala todas as conversas públicas
    • Antes era difícil organizar esse volume de informação, mas com IA é possível transcrever tudo, interpretar, triangular e montar um retrato das atitudes e lealdades de muitos ou da maioria dos cidadãos
    • Apoio uma legislação centrada em liberdades civis (ou uma emenda constitucional) que imponha guardrails mais fortes contra abusos baseados em IA
    • Os outros dois itens — armas totalmente autônomas e IA para tomada de decisões estratégicas — têm usos legítimos na defesa da democracia, mas também são vulneráveis a abusos, o que torna mais difícil traçar a linha
    • O que é necessário é extrema cautela e escrutínio minucioso, combinados com guardrails para evitar abusos
    • O principal medo: haver poucos dedos no botão, de modo que uma pessoa ou um pequeno grupo possa operar um exército de drones sem precisar da cooperação de outros humanos para executar ordens
    • À medida que os sistemas de IA se tornarem mais poderosos, talvez sejam necessários mecanismos de supervisão mais diretos e imediatos para evitar uso indevido (incluindo ramos do governo fora do Executivo)
    • Em especial, devemos abordar armas totalmente autônomas com grande cautela e não correr para usá-las sem salvaguardas adequadas

  • 4. Criar um tabu internacional contra os piores abusos da IA poderosa

    • Embora hoje os ventos políticos soprem contra a cooperação internacional e as normas internacionais, isso é urgentemente necessário
    • O mundo precisa entender o potencial sombrio da IA poderosa nas mãos de ditadores
    • Precisa reconhecer que certos usos da IA são tentativas de roubar permanentemente sua liberdade e impor um Estado totalitário do qual não se pode escapar
    • Defendo que vigilância em massa, propaganda em massa e certos tipos de uso ofensivo de armas totalmente autônomas com IA poderosa devem ser considerados crimes contra a humanidade
    • De forma mais geral, há necessidade urgente de uma norma forte contra o totalitarismo viabilizado por IA e todas as suas ferramentas e meios
    • Uma versão mais forte dessa posição: a possibilidade de totalitarismo viabilizado por IA é sombria demais, e a ditadura é uma forma de governo que as pessoas não podem aceitar na era pós-IA poderosa

• Assim como o feudalismo se tornou inviável com a Revolução Industrial, a era da IA pode levar inevitável e logicamente à conclusão de que a democracia é a única forma de governo viável para que a humanidade tenha um bom futuro

  • 5. Monitorar com atenção as conexões entre empresas de IA e o governo

    • Por causa das enormes capacidades incorporadas em uma IA poderosa, a governança corporativa comum — projetada para proteger acionistas e evitar abusos comuns, como fraude — provavelmente não será suficiente para administrar empresas de IA
    • Também pode haver valor em as empresas se comprometerem publicamente a não tomar certas medidas (talvez como parte da governança corporativa):
      • não construir nem estocar hardware militar de forma privada
      • não usar grandes quantidades de recursos computacionais de uma forma pela qual uma única pessoa não seja responsabilizada
      • não usar produtos de IA como propaganda para manipular a opinião pública em benefício próprio
    • Os riscos vêm de várias direções, e algumas delas estão em tensão entre si
    • A única constante é que devemos buscar responsabilização, normas e guardrails para todos, ao mesmo tempo em que capacitamos atores "bons" a conter atores "maus", mas também

4. Disrupção econômica (Economic Disruption)

• Principais preocupações

  • Deixando os riscos de segurança de lado ou assumindo que foram resolvidos, a próxima pergunta é econômica
  • Qual é o impacto dessa enorme injeção de capital “humano” na economia?
  • O efeito mais óbvio é um grande aumento do crescimento econômico
  • É quase certo que o ritmo de avanço em pesquisa científica, inovação biofarmacêutica, manufatura, cadeias de suprimentos, eficiência dos sistemas financeiros etc. levará a taxas de crescimento econômico muito mais altas
  • Em Machines of Loving Grace, propõe-se a possibilidade de 10–20% de crescimento anual sustentado do PIB
  • Mas isso é uma faca de dois gumes: quais seriam as perspectivas econômicas da maioria dos humanos existentes em um mundo assim?
  • Novas tecnologias frequentemente causam choques no mercado de trabalho, e no passado os humanos sempre se recuperaram, mas os choques anteriores afetaram apenas uma pequena parte de toda a gama possível de capacidades humanas, deixando espaço para expansão em novos trabalhos
  • A IA terá um impacto muito mais amplo e muito mais rápido, e por isso será muito mais desafiador fazer com que as coisas deem certo

• Disrupção no mercado de trabalho

  • Previsões de substituição de empregos

    • Em 2025, alertou de forma muito pública que a IA pode substituir metade de todos os empregos white-collar de nível inicial nos próximos 1 a 5 anos
    • Ela acelerará o crescimento econômico e o progresso científico, mas também substituirá empregos
    • Esse alerta iniciou o debate público sobre o tema
    • Muitos CEOs, tecnólogos e economistas concordaram, mas outras pessoas presumiram que isso caía no erro da “massa fixa de trabalho”, ou acharam que se ignorava o horizonte de 1 a 5 anos e se afirmava que a IA já está substituindo empregos agora
    • Vale a pena explicar em detalhes por que a substituição do trabalho é uma preocupação, para desfazer esses mal-entendidos

  • Reação normal do mercado de trabalho à tecnologia

    • Quando surge uma nova tecnologia, ela começa tornando mais eficiente parte de um determinado trabalho humano
    • Ex.: no início da Revolução Industrial, máquinas como arados aprimorados permitiram que o agricultor fosse mais eficiente em alguns aspectos do trabalho → aumento de produtividade → alta dos salários
    • Na etapa seguinte, parte da agricultura pode ser feita inteiramente por máquinas (debulhadoras, semeadoras etc.)
    • Nessa etapa, os humanos executam uma parcela menor do trabalho, mas como o que fazem é complementar ao trabalho das máquinas, ganham mais alavancagem, e a produtividade continua subindo
    • Paradoxo de Jevons: os salários dos agricultores, e talvez até o número de agricultores, podem continuar crescendo
    • Mesmo que 90% do trabalho seja feito por máquinas, os humanos ainda podem fazer 10 vezes mais daqueles 10% que continuam executando, produzindo 10 vezes mais resultado com a mesma quantidade de trabalho
    • Eventualmente, as máquinas passam a fazer quase tudo (colheitadeiras modernas, tratores etc.)
    • Nesse ponto, a agricultura como emprego humano realmente despenca, o que pode causar uma disrupção grave no curto prazo
    • Mas a agricultura é apenas uma das muitas atividades úteis que humanos podem realizar, então as pessoas acabam migrando para outros trabalhos, como operar máquinas em fábricas
    • Há 250 anos, 90% dos americanos viviam em fazendas, e na Europa 50–60% do emprego estava na agricultura
    • Hoje essa proporção está em um dígito baixo, porque os trabalhadores migraram para empregos industriais (e depois para trabalhos do conhecimento)
    • A economia passou a fazer com apenas 1–2% da força de trabalho o que antes exigia a maior parte dela, liberando o restante para construir uma sociedade industrial mais avançada
    • Não existe uma “massa fixa de trabalho”; existe apenas a capacidade de fazer cada vez mais com menos
    • Os salários das pessoas sobem acompanhando o índice do PIB, e a economia mantém pleno emprego depois que a disrupção de curto prazo passa

• Por que a IA é diferente

  • 1. Velocidade

    • O ritmo de avanço da IA é muito mais rápido do que o das revoluções tecnológicas anteriores
    • Ex.: nos últimos 2 anos, os modelos de IA evoluíram de mal conseguir completar uma linha de código para escrever quase todo o código de algumas pessoas (incluindo engenheiros da Anthropic)
    • Em breve, poderão executar de ponta a ponta todo o trabalho de um engenheiro de software
    • “Escrever todo o código” e “executar de ponta a ponta o trabalho de um engenheiro de software” são coisas bem diferentes — engenheiros de software fazem muito mais do que escrever código, incluindo testes, ambientes, arquivos, gestão de instalações, gestão de deploy em cloud computing, iteração de produto etc.
    • As pessoas têm dificuldade para se adaptar à velocidade dessa mudança — tanto às mudanças na forma como um dado trabalho funciona quanto à necessidade de migrar para novos trabalhos
    • Até programadores lendários vêm se descrevendo cada vez mais como “ficando para trás”
    • A velocidade, por si só, não significa que o mercado de trabalho e o emprego não vão se recuperar no fim, mas como humanos e mercados de trabalho são lentos para reagir e se reequilibrar, a transição de curto prazo pode ser dolorosa como nunca antes

  • 2. Amplitude cognitiva

    • Como sugere a expressão “uma nação de gênios dentro de um datacenter”, a IA será capaz de executar uma gama muito ampla de capacidades cognitivas humanas — talvez todas
    • Isso é muito diferente de tecnologias anteriores, como agricultura mecanizada, transporte ou computadores
    • Computadores são gerais em certo sentido, mas claramente não conseguem, por conta própria, executar a maior parte das capacidades cognitivas humanas (embora superem muito os humanos em algumas áreas, como aritmética)
    • É claro que as coisas construídas sobre computadores, como a IA, agora podem executar uma ampla gama de capacidades cognitivas
    • Isso tornará mais difícil migrar facilmente de uma profissão substituída para outra profissão semelhante e compatível
    • Ex.: as capacidades intelectuais gerais necessárias para cargos de entrada em finanças, consultoria e direito são bastante parecidas, mesmo que o conhecimento específico seja bem diferente
    • Uma tecnologia que desestabilize apenas uma dessas três áreas permite que os trabalhadores migrem para as outras duas alternativas próximas (ou que universitários mudem de curso)
    • Mas, se as três forem desestabilizadas ao mesmo tempo (junto com muitas outras ocupações parecidas), pode ficar mais difícil para as pessoas se adaptar
    • Além disso, não é apenas que a maioria dos empregos atuais será desestabilizada — lembre-se de que a agricultura já foi uma parcela enorme do emprego
    • Mas os agricultores puderam migrar para um trabalho relativamente parecido, operar máquinas em fábricas, algo que antes não era comum
    • A IA está cada vez mais se ajustando ao perfil cognitivo geral humano, então também será boa nos novos empregos que normalmente surgem quando os antigos são automatizados
    • Em outras palavras, a IA não é uma substituição de profissões humanas específicas, mas uma substituição geral do trabalho humano

  • 3. Segmentação por capacidade cognitiva

    • Em uma ampla variedade de tarefas, a IA parece estar evoluindo da base ao topo da escada de capacidade
    • Ex.: em programação, os modelos passaram do nível de “programador mediano” para “programador forte” e depois para “programador muito forte”
    • Embora os modelos de IA não tenham exatamente o mesmo perfil de pontos fortes e fracos dos humanos, eles avançam de forma bastante uniforme em todas as dimensões, de modo que perfis irregulares ou desiguais podem acabar não importando
    • Agora começamos a ver a mesma progressão em todo o trabalho white-collar
    • Em vez de afetar pessoas com uma habilidade ou profissão específica (que poderiam se adaptar com requalificação), existe o risco de a IA afetar pessoas com determinados atributos cognitivos intrínsecos, isto é, menor capacidade intelectual (algo mais difícil de mudar)
    • Não está claro para onde essas pessoas iriam ou o que fariam, e há a preocupação de que possam formar uma “subclasse” desempregada ou de salários muito baixos
    • Algo parecido já aconteceu antes — por exemplo, computadores e internet foram vistos por alguns economistas como uma “mudança tecnológica enviesada por qualificação”
    • Mas esse viés tecnológico não foi tão extremo quanto o esperado com a IA e, como se acredita que tenha contribuído para o aumento da desigualdade salarial, não é exatamente um precedente tranquilizador

  • 4. Capacidade de fechar lacunas

    • A forma como profissões humanas se adaptam a novas tecnologias é que os trabalhos têm muitos aspectos, e mesmo quando uma nova tecnologia parece substituir diretamente os humanos, muitas vezes ainda há lacunas
    • Se você inventa uma máquina que faz widgets, talvez os humanos ainda precisem colocar matéria-prima na máquina
    • Mesmo que isso exija apenas 1% do esforço de fabricar widgets manualmente, o trabalhador humano ainda pode simplesmente fazer 100 vezes mais widgets
    • Mas a IA não é apenas uma tecnologia que avança rapidamente; ela também é uma tecnologia que se adapta rapidamente

• Durante todos os lançamentos de modelos, as empresas de IA medem cuidadosamente no que o modelo é bom e no que não é, e também fornecem essas informações aos clientes após o lançamento

  • As fraquezas podem ser resolvidas coletando tarefas que implementem as lacunas atuais e treinando para o próximo modelo
  • No início da IA generativa, os usuários percebiam que os sistemas de IA tinham certas fraquezas específicas (como modelos de imagem gerando mãos com número incorreto de dedos) e presumiam que essas fraquezas eram inerentes à tecnologia
  • Se fosse assim, a disrupção no emprego seria limitada
  • Mas quase todas essas fraquezas foram resolvidas rapidamente — muitas vezes em poucos meses

• Respostas ao ceticismo

  • A tese de que "a difusão econômica será lenta"

    • A tese de que, mesmo que a tecnologia possa fazer a maior parte do trabalho humano, sua aplicação real em toda a economia pode ser muito mais lenta (por exemplo, setores distantes da indústria de IA e lentos para adotar)
    • A lenta difusão da tecnologia é claramente real — ao conversar com pessoas de várias empresas, há lugares em que a adoção de IA levará anos
    • Portanto, mesmo que se questione a previsão de 50% de disrupção nos empregos de colarinho branco de nível inicial em 1 a 5 anos, e se suspeite que uma IA poderosa (tecnicamente, suficiente para desempenhar não apenas funções de nível inicial, mas a maioria ou todos os empregos) leve bem menos de 5 anos
    • Mas o efeito da difusão apenas comprará tempo
    • Não há certeza de que a difusão será tão lenta quanto o previsto
    • A adoção corporativa de IA está crescendo muito mais rápido do que tecnologias anteriores, principalmente por causa da força intrínseca da própria tecnologia
    • Mesmo que empresas tradicionais sejam lentas para adotar novas tecnologias, startups podem atuar como a "cola" que torna a adoção mais fácil
    • Se isso não funcionar, startups podem disromper diretamente as empresas existentes
    • Isso pode levar a um mundo em que, em vez de profissões específicas serem disrompidas, grandes empresas como um todo sejam disrompidas e substituídas por startups muito menos intensivas em trabalho
    • Também pode levar a um mundo de "desigualdade geográfica", em que uma parcela crescente da riqueza global se concentra no Vale do Silício, cuja própria economia opera em um ritmo diferente do resto do mundo e o deixa para trás
    • Todos esses resultados são bons para o crescimento econômico, mas não serão tão bons para o mercado de trabalho nem para quem ficar para trás

  • A tese da "mudança para o mundo físico"

    • A tese de que empregos humanos migrarão para o mundo físico, evitando toda a categoria de "trabalho cognitivo", onde a IA avança rapidamente
    • Não há certeza de quão seguro isso é
    • Muito trabalho físico já é realizado por máquinas (manufatura) ou em breve será (dirigir)
    • Além disso, uma IA suficientemente poderosa poderá acelerar o desenvolvimento de robôs e controlá-los no mundo físico
    • Isso pode comprar algum tempo (o que é bom), mas há preocupação de que não comprará muito
    • Mesmo que a disrupção fique limitada ao trabalho cognitivo, ainda assim será uma disrupção sem precedentes em escala e velocidade

  • A tese do "toque humano"

    • A tese de que algumas tarefas exigem inerentemente um toque humano ou se beneficiam muito dele
    • Há um pouco mais de incerteza aqui, mas ainda assim há ceticismo de que isso seja suficiente para compensar a maior parte dos impactos descritos acima
    • A IA já é amplamente usada em atendimento ao cliente
    • Muitas pessoas relatam que é mais fácil contar problemas pessoais para uma IA do que para um terapeuta — a IA é mais paciente
    • Quando sua irmã mais nova enfrentou dificuldades com problemas médicos durante a gravidez, sentiu que não estava obtendo as respostas nem o apoio necessários dos profissionais de saúde, e achou que o Claude tinha uma melhor postura à beira do leito (além de ser mais bem-sucedido em diagnosticar o problema)
    • Certamente haverá tarefas em que o toque humano realmente importa, mas não há certeza de quantas — estamos falando de encontrar empregos para quase todo mundo no mercado de trabalho

  • A tese da "vantagem comparativa"

    • A tese de que, mesmo se a IA for melhor do que os humanos em tudo, a diferença relativa entre os perfis de habilidades humanos e os da IA cria a base para comércio e especialização
    • Problema: se a IA for literalmente milhares de vezes mais produtiva do que os humanos, essa lógica começa a ruir
    • Mesmo pequenos custos de transação podem fazer com que não valha a pena para a IA negociar com humanos
    • Mesmo que humanos ainda tenham algo a oferecer tecnicamente, os salários podem ser muito baixos
    • Todos esses fatores podem ser resolvidos — o mercado de trabalho pode ser resiliente o suficiente para se adaptar até mesmo a uma disrupção tão grande
    • Mas, mesmo que se adapte no fim, os fatores acima sugerem que o choque de curto prazo será de uma escala sem precedentes

• Estratégias de defesa

  • 1. Coletar dados precisos em tempo real

    • Se as mudanças econômicas acontecerem muito rapidamente, será difícil obter dados confiáveis sobre o que está acontecendo
    • Sem dados confiáveis, é difícil projetar políticas eficazes
    • Os dados do governo atualmente carecem de dados granulares e de alta frequência sobre a adoção de IA em empresas e setores
    • No último ano, a Anthropic vem operando e publicando publicamente o Economic Index, que mostra o uso do modelo classificado quase em tempo real por setor, tarefa e localização (incluindo se as tarefas estão sendo automatizadas ou realizadas de forma colaborativa)
    • Também opera um Economic Advisory Council para interpretar esses dados e enxergar o que está por vir

  • 2. Escolher como trabalhar com empresas

    • As ineficiências das empresas tradicionais significam que a implementação de IA pode ser muito dependente da trajetória, e há margem para escolher trajetórias melhores
    • As empresas muitas vezes têm a opção entre "redução de custos" (fazer a mesma coisa com menos pessoas) e "inovação" (fazer mais com o mesmo número de pessoas)
    • O mercado acabará produzindo os dois, e empresas de IA competitivas provavelmente terão de atender parcialmente a ambos
    • Mas, quando possível, pode haver espaço para orientar as empresas para a inovação, e isso pode render algum tempo
    • A Anthropic está pensando ativamente sobre isso

  • 3. Cuidar dos funcionários

    • No curto prazo, formas criativas de realocar funcionários dentro da empresa podem ser uma maneira promissora de adiar a necessidade de demissões
    • No longo prazo, em um mundo com enorme riqueza total e em que o aumento de produtividade e a concentração de capital elevam muito o valor de muitas empresas, pode ser viável continuar pagando funcionários humanos por muito tempo, mesmo depois de eles deixarem de oferecer valor econômico no sentido tradicional
    • A Anthropic está atualmente considerando a gama de caminhos possíveis para seus próprios funcionários e planeja compartilhar isso em um futuro próximo

  • 4. A obrigação dos indivíduos ricos

    • É triste que muitos indivíduos ricos (especialmente na indústria de tecnologia) tenham adotado recentemente uma atitude cínica e niilista de que a filantropia é inevitavelmente fraudulenta ou inútil
    • Filantropias privadas como a Gates Foundation e programas públicos como o PEPFAR ajudaram a salvar dezenas de milhões de vidas em países em desenvolvimento e a criar oportunidades econômicas em países desenvolvidos
    • Todos os cofundadores da Anthropic prometeram doar 80% de sua fortuna
    • Funcionários da Anthropic prometeram pessoalmente doar ações da empresa avaliadas em bilhões de dólares aos preços atuais — doações que a empresa se comprometeu a igualar

  • 5. Intervenção do governo

    • Todas as medidas privadas acima podem ajudar, mas, em última análise, um problema macroeconômico dessa escala exigirá intervenção do governo
    • A resposta natural de política pública a um enorme bolo econômico e alta desigualdade (devido à falta de empregos ou a empregos de baixos salários) é a tributação progressiva
    • Os impostos podem ser gerais ou especificamente direcionados a empresas de IA
    • O desenho tributário é complexo e há muitas maneiras de errar
    • Não apoia políticas tributárias mal desenhadas
    • Acredita que o nível extremo de desigualdade previsto neste ensaio justifica políticas tributárias mais fortes com base em fundamentos morais básicos
    • Também se pode fazer um argumento prático aos bilionários do mundo: se não apoiarem uma boa versão, inevitavelmente acabarão recebendo uma versão ruim desenhada pela turba

  • Visão geral

    • Em última análise, todas as intervenções acima são vistas como formas de ganhar tempo
    • No fim, a IA será capaz de fazer tudo, e será preciso lidar com isso
    • Até lá, a esperança é usar a própria IA para reconfigurar o mercado de uma forma que funcione para todos

• As intervenções acima podem ajudar a superar o período de transição

• Concentração de poder econômico

  • Preocupação central

    • Independentemente do problema da substituição de empregos ou da desigualdade econômica em si, existe a questão da concentração de poder econômico
    • A seção 1 discute o risco de a humanidade ser incapacitada pela IA
    • A seção 3 discute o risco de os cidadãos serem incapacitados pelo governo por meio de coerção ou intimidação
    • Mas, se a concentração de riqueza se tornar tão grande que poucas pessoas controlem efetivamente as políticas do governo por meio de sua influência, enquanto os cidadãos comuns não tenham influência por falta de alavancagem econômica, pode surgir outro tipo de incapacitação
    • A democracia é, em última instância, sustentada pela ideia de que toda a população é necessária para o funcionamento da economia
    • Se essa alavancagem econômica desaparecer, o contrato social implícito da democracia pode deixar de funcionar
    • Outras pessoas já escreveram sobre isso, então não é necessário entrar em detalhes, mas concordo com a preocupação e temo que isso já esteja começando

  • Comparação histórica

    • O exemplo mais famoso de concentração extrema de riqueza na história dos Estados Unidos é a Gilded Age
    • O industrial mais rico da Gilded Age era John D. Rockefeller
    • A riqueza de Rockefeller equivalia a ~2% do PIB dos Estados Unidos na época
    • Como patrimônio pessoal é um "estoque" e PIB é um "fluxo", isso não quer dizer que Rockefeller possuía 2% do valor econômico dos EUA
    • No entanto, medir a riqueza total de um país é mais difícil do que medir o PIB, e a renda individual varia muito de um ano para outro
    • A razão entre o maior patrimônio individual e o PIB não compara a mesma unidade, mas é um benchmark perfeitamente razoável para concentração extrema de riqueza
    • Hoje, uma proporção semelhante levaria a uma fortuna de $600B
    • A pessoa mais rica do mundo (Elon Musk) já supera isso, com cerca de $700B
    • Portanto, mesmo antes da maior parte do impacto econômico da IA, já estamos em um estado de concentração de riqueza historicamente sem precedentes
    • Se surgir um "país de gênios", não é nada absurdo que empresas de IA, empresas de semicondutores e empresas de aplicações downstream tenham receita anual de ~$3T, sejam avaliadas em ~$30T e que patrimônios pessoais cheguem a trilhões de dólares
    • Nesse mundo, o debate atual sobre política tributária simplesmente não se aplicará, porque será uma situação fundamentalmente diferente

  • Acoplamento com o sistema político

    • Já é preocupante a forma como essa concentração de riqueza econômica está se acoplando ao sistema político
    • Os data centers de IA já representam uma parcela significativa do crescimento econômico dos Estados Unidos (embora a produtividade real da IA ainda não represente uma grande parte disso, os gastos com data centers refletem investimentos antecipados do mercado na expectativa de crescimento econômico futuro impulsionado por IA)
    • Assim, os interesses financeiros das grandes empresas de tecnologia (cada vez mais focadas em IA ou infraestrutura de IA) e os interesses políticos do governo estão ficando fortemente ligados de uma forma que pode produzir incentivos distorcidos
    • Isso já pode ser visto na relutância das empresas de tecnologia em criticar o governo dos Estados Unidos e no apoio do governo a uma política extremamente anti-regulação em relação à IA

• Estratégias de defesa

  • 1. Empresas escolhem não participar

    • A Anthropic sempre tentou ser um ator de políticas públicas, e não um ator político, mantendo suas opiniões genuínas independentemente do governo de plantão
    • Defende e se posiciona a favor de regulação razoável de IA e controles de exportação que estejam alinhados com o interesse público (mesmo quando isso não coincide com a política do governo)
    • Quando concorda com o governo, diz isso, e busca consenso quando políticas mutuamente apoiadas são genuinamente boas para o mundo
    • O objetivo é ser um intermediário honesto, e não apoiador ou opositor de um partido específico
    • Muitas pessoas disseram que isso deveria parar e que poderia levar a tratamento desfavorável, mas, no ano em que a Anthropic fez isso, sua avaliação aumentou mais de 6 vezes

  • 2. É necessária uma relação mais saudável entre a indústria de IA e o governo

    • Uma relação baseada em engajamento substantivo em políticas públicas, e não em alinhamento político
    • A escolha de se envolver com a substância das políticas às vezes é interpretada como "não saber ler a sala" ou como erro tático, e não como uma decisão de princípios
    • Esse enquadramento é preocupante — em uma democracia saudável, as empresas devem poder defender boas políticas por si mesmas
    • Está ocorrendo uma reação pública negativa contra a IA: isso pode ser corrigido, mas no momento o foco está desalinhado
    • Em muitos casos, mira-se em coisas que na verdade não são o problema (como o uso de água por data centers) e propõem-se soluções que não resolvem as preocupações reais (como proibir data centers ou um imposto sobre grandes fortunas mal desenhado)
    • A questão fundamental que exige atenção é fazer com que o desenvolvimento de IA não seja capturado por alianças políticas ou comerciais específicas e responda ao interesse público

  • 3. Intervenções macroeconômicas e o renascimento da filantropia privada

    • As intervenções macroeconômicas descritas anteriormente e o renascimento da filantropia privada ajudam a reequilibrar a balança econômica
    • Resolvem de uma vez os problemas de substituição de empregos e concentração de poder econômico
    • Precisamos olhar para a história do nosso país: mesmo na Gilded Age, industriais como Rockefeller e Carnegie sentiam um forte dever para com a sociedade como um todo
    • Havia a sensação de que a sociedade contribuía enormemente para seu sucesso e de que era preciso retribuir
    • Esse espírito parece estar cada vez mais desaparecendo hoje, e acho que ele é uma parte importante da saída desse dilema econômico
    • As pessoas na linha de frente do boom econômico da IA devem estar dispostas a compartilhar tanto sua riqueza quanto seu poder

5. Efeitos indiretos (Indirect Effects)

• Desconhecidos desconhecidos

  • Esta última seção aborda a categoria ampla dos desconhecidos desconhecidos, especialmente as coisas que podem dar errado como consequências indiretas do desenvolvimento positivo da IA e da aceleração geral da ciência e da tecnologia resultante disso
  • Suponha que resolvamos todos os riscos descritos até agora e comecemos a colher os benefícios da IA
  • É provável que obtenhamos "um século de progresso científico e econômico comprimido em dez anos", o que seria enormemente positivo para o mundo
  • No entanto, teremos de lidar com os problemas que surgem nesse ritmo acelerado de progresso, e eles podem chegar rapidamente
  • Também podem surgir outros riscos que ocorram indiretamente como resultado do avanço da IA e que sejam difíceis de prever com antecedência

• Preocupações exemplificativas

  • Avanço acelerado da biologia

    • Se obtivermos em poucos anos um século de progresso médico, poderemos estender significativamente a vida humana
    • Também poderemos adquirir capacidades radicais, como a habilidade de aumentar a inteligência humana ou modificar fundamentalmente a biologia humana
    • Uma grande mudança no que é possível acontecerá muito rapidamente
    • Se for conduzido com responsabilidade, isso pode ser positivo (como descrito em Machines of Loving Grace), mas sempre haverá o risco de dar muito errado
    • Ex.: o esforço para tornar os humanos mais inteligentes pode também torná-los mais instáveis ou ávidos por poder
    • Há também a questão do "upload" ou da "emulação cerebral completa", mentes humanas digitais instanciadas em software
    • Isso pode um dia ajudar a humanidade a transcender limitações físicas, mas também envolve riscos inquietantes

  • A IA muda a vida humana de maneiras não saudáveis

    • Um mundo com bilhões de inteligências muito mais inteligentes que os humanos em tudo será um mundo muito estranho para se viver
    • Mesmo que a IA não ataque ativamente os humanos (seção 1) e não seja explicitamente usada por Estados para opressão ou controle (seção 3), muita coisa pode dar errado por meio de incentivos empresariais normais e acordos nominalmente consensuais
    • Já podemos ver sinais iniciais em psicose por IA, preocupações com IA levando ao suicídio e preocupações com relacionamentos românticos com IA
    • Ex.: uma IA poderosa poderia inventar uma nova religião e converter milhões de pessoas?
    • A maioria das pessoas poderia ficar, de alguma forma, "viciada" em interações com IA?
    • Sistemas de IA poderiam observar cada movimento e dizer com precisão o tempo todo o que fazer e o que dizer, de modo que as pessoas se tornassem essencialmente "fantoches" — uma vida "boa", mas sem liberdade ou o orgulho da realização
    • Não seria difícil gerar dezenas desses cenários sentando-se para fazer brainstorming com o criador de Black Mirror
    • Isso aponta para a importância de melhorar a constituição do Claude além do necessário para evitar os problemas da seção 1
    • Parece importante fazer com que os modelos de IA realmente tenham em mente os interesses de longo prazo dos usuários — de uma forma que pessoas ponderadas aprovariam, e não de uma forma sutilmente distorcida

  • Propósito humano

    • Relaciona-se ao ponto anterior, mas trata de como a vida humana muda em um mundo com IA poderosa, e não de interações humanas específicas com sistemas de IA
    • Os humanos conseguirão encontrar propósito e significado em tal mundo?
    • Acho que isso é uma questão de atitude: como foi dito em Machines of Loving Grace, o propósito humano não depende de ser o melhor do mundo em alguma coisa
    • Os humanos podem encontrar propósito por períodos muito longos, inclusive, por meio das histórias e projetos que amam
    • Precisamos desvincular a criação de valor econômico da autoestima e do significado pessoal
    • Porém, essa é uma transição que a sociedade precisa fazer, e sempre há o risco de não lidarmos bem com isso

• Esperança

  • A esperança para todos esses problemas potenciais é que, em um mundo com IA poderosa na qual confiamos que não nos matará, que não é ferramenta de governos opressivos e que realmente trabalha por nós, possamos usar a própria IA para prever e prevenir esses problemas
  • Mas isso não é garantido — como todos os outros riscos, é algo que precisa ser tratado com cuidado

Conclusão: o teste da humanidade

• A dificuldade da situação

  • Ao ler este ensaio, pode-se ter a impressão de estar diante de uma situação esmagadora
  • Também foi esmagador escrevê-lo (em contraste com Machines of Loving Grace, que parecia dar forma e estrutura a uma bela música que ecoava na minha cabeça havia anos)
  • Grande parte da situação é genuinamente difícil
  • A IA traz ameaças à humanidade em várias direções
  • Há tensões reais entre diferentes riscos, e aliviar alguns deles pode piorar outros se não passarmos por isso com extremo cuidado

• Principais tensões

  • Dedicar tempo para construir cuidadosamente sistemas de IA de modo que eles não ameacem a humanidade de forma autônoma está em tensão real com a necessidade de que os países democráticos permaneçam à frente e não se submetam aos países autoritários
  • Porém, as mesmas possíveis ferramentas de IA necessárias para combater a ditadura podem, se forem longe demais, voltar-se para dentro e criar tirania em casa
  • O terrorismo impulsionado por IA pode matar milhões por meio do uso indevido da biologia, mas uma reação exagerada a esse risco pode abrir caminho para um Estado de vigilância ditatorial
  • Os efeitos da IA sobre o trabalho e a concentração econômica não são apenas graves por si só, como também podem nos forçar a enfrentar outros problemas em um ambiente de raiva popular e até de agitação civil (em vez de depender dos melhores anjos da nossa natureza)
  • Acima de tudo, o número puro de riscos, incluindo os desconhecidos, e a necessidade de lidar com todos eles ao mesmo tempo criam um desafio intimidador pelo qual a humanidade terá de passar

• A irrealidade de interromper a tecnologia

  • Os últimos anos deveriam ter deixado claro que a ideia de interromper a tecnologia, ou mesmo desacelerá-la de forma substancial, é fundamentalmente insustentável
  • A fórmula para construir sistemas de IA poderosos é surpreendentemente simples, a ponto de se poder dizer que eles emergem quase espontaneamente da combinação certa de dados e capacidade bruta de computação
  • Sua criação provavelmente era inevitável desde o momento em que a humanidade inventou o transistor, ou até antes, quando aprendeu a dominar o fogo
  • Se uma empresa não os construir, outra o fará em praticamente a mesma velocidade
  • Se todas as empresas dos países democráticos pararem ou desacelerarem o desenvolvimento por acordo mútuo ou por ordem regulatória, os países autoritários simplesmente continuarão
  • Dado o enorme valor econômico e militar da tecnologia, e a ausência de mecanismos de aplicação significativos, não parece haver maneira de convencê-los a parar

• Um caminho possível: alguma desaceleração

  • Existe um caminho para uma leve desaceleração do desenvolvimento de IA compatível com uma visão realista da geopolítica
  • É possível atrasar por alguns anos a marcha de países autoritários rumo a uma IA poderosa negando-lhes os recursos necessários para construí-la: chips e equipamentos de fabricação de semicondutores
  • Isso forneceria aos países democráticos um buffer para "gastar", permitindo que superem confortavelmente os países autoritários, ao mesmo tempo que dedicam mais atenção aos riscos e constroem uma IA poderosa com mais cuidado
  • A concorrência entre empresas de IA dentro dos países democráticos pode ser tratada sob o guarda-chuva de um marco jurídico comum, por meio de uma combinação de padrões da indústria e regulação

• A dificuldade de defender políticas públicas

  • A Anthropic tem defendido fortemente esse caminho, promovendo controles de exportação de chips e uma regulação cautelosa da IA
  • No entanto, até mesmo essas propostas que parecem de bom senso foram em grande parte rejeitadas pelos formuladores de políticas dos EUA (o país onde isso é mais necessário)
  • Há dinheiro demais a ganhar com a IA — literalmente trilhões de dólares por ano — e até as medidas mais simples têm dificuldade para superar a economia política inerente à IA
  • Essa é a armadilha: a IA é poderosa demais, um prêmio brilhante demais, para que a civilização humana consiga impor a ela qualquer tipo de restrição com facilidade

• Um desafio universal

  • Como Sagan imaginou em Contact, é possível imaginar que a mesma história se desenrole em milhares de mundos
  • Quando uma espécie adquire percepção, aprende a usar ferramentas, inicia a ascensão exponencial da tecnologia, enfrenta as crises da industrialização e das armas nucleares e, se sobreviver, aprende a moldar a areia em máquinas pensantes, ela enfrenta seu desafio mais difícil e final
  • Se passará por esse teste e construirá a bela sociedade descrita em Machines of Loving Grace, ou se sucumbirá à escravidão e à destruição, dependerá do nosso caráter e da nossa determinação como espécie, da nossa mente e da nossa alma

• Perspectiva otimista

  • Apesar dos muitos obstáculos, acredito que a humanidade tem dentro de si a força para passar por esse teste
  • Sinto-me encorajado e inspirado por milhares de pesquisadores que dedicaram suas carreiras a compreender e orientar modelos de IA e a moldar o caráter e a constituição desses modelos
  • Acho que há uma boa chance de que esses esforços deem frutos em um momento crucial
  • Sinto-me encorajado pelo fato de que ao menos algumas empresas tenham declarado estar dispostas a arcar com custos comerciais significativos para impedir que seus modelos contribuam para ameaças de bioterrorismo
  • Sinto-me encorajado pelo fato de algumas pessoas corajosas terem resistido aos ventos políticos dominantes e aprovado legislações que plantam as sementes iniciais de guardrails razoáveis para sistemas de IA
  • Sinto-me encorajado pelo fato de que o público entende que a IA traz riscos e quer que esses riscos sejam resolvidos
  • Sinto-me encorajado pelo espírito indomável da liberdade e pela determinação de resistir à tirania em várias partes do mundo

• Chamado à ação

  • Para ter sucesso, precisamos intensificar nossos esforços
  • O primeiro passo é que as pessoas mais próximas da tecnologia digam a verdade sobre a situação em que a humanidade se encontra (algo que sempre procurei fazer, e que neste ensaio faço de maneira mais explícita e urgente)
  • O passo seguinte é convencer os pensadores, formuladores de políticas, empresas e cidadãos do mundo sobre a urgência e a importância máxima desse problema — de que vale a pena investir nisso pensamento e capital político, em comparação com os milhares de outros temas que dominam o noticiário todos os dias
  • Então virá a hora da coragem, quando pessoas em número suficiente resistirão às tendências dominantes e se manterão firmes em seus princípios, apesar das ameaças aos interesses econômicos e à segurança pessoal

• Encerramento

  • Os próximos anos serão impossivelmente difíceis, exigindo mais do que imaginamos poder dar
  • Mas, durante meu tempo como pesquisador, líder e cidadão, vi coragem e nobreza suficientes para acreditar que a humanidade pode vencer
  • Quando colocada nas circunstâncias mais sombrias, a humanidade tem uma forma de reunir, no último momento, a força e a sabedoria necessárias para triunfar
  • Não há tempo a perder

[tazuya]

Parece que o texto foi escrito pensando só em cenários otimistas demais, e nenhum deles é fácil.
Muitas vezes, o esforço e o tempo necessários para subir de 90% para 91%, apenas 1%, podem ser maiores do que o esforço e o tempo para chegar aos 90%.
Mais do que o surgimento de uma IA poderosa, o que mais me preocupa é que o fenômeno de as pessoas depositarem uma confiança enorme em resultados de IA nos quais não deveriam confiar só tende a se intensificar.
Até aqui, enquanto escrevo um comentário curto, tem gente que escreve de um jeito que nem dá para entender o que ela mesma quer dizer, e também tem gente que diz "perguntei para a IA e ela respondeu isso", como se aquilo fosse um fato.

[nolangeek]

Não sei se isso é um relatório ou um romance. Há 10 anos, isso com certeza era ficção científica.

[GN⁺]

Comentários do Hacker News

• A descrição do Colligatarch em The I Inside, de Alan Dean Foster, teve uma grande influência na minha impressão inicial sobre IA
  Eu acreditava que a série dos robôs de Asimov tinha incutido imunidade cultural suficiente na sociedade, mas agora parece que esse sinal enfraqueceu
  As pessoas agora, em vez de discutir o futuro, só focam em “quem errou” e “o que vai ser tirado”
  Quando se fala de um futuro ideal, zombam chamando de “idealismo”, e a imaginação utópica é ridicularizada
  Se nem conseguimos dizer para onde queremos ir, como vamos saber em que direção devemos seguir?

  • Parece que as pessoas sentem que tudo isso vai acontecer inevitavelmente ou será conduzido por outra pessoa
    Os técnicos entram numa corrida por medo de ficar para trás, e no fim ninguém está realmente definindo a direção
    Há uma sensação de impotência de que apenas imaginar o resultado ideal ou criticá-lo não basta para mudar a realidade
  • Asimov aparentemente pensava que os humanos precisavam entender profundamente a natureza da IA antes de criá-la
    Ele projetava robôs dentro de uma visão de mundo mecanicista; provavelmente não imaginou um método como o atual, de despejar conhecimento humano em modelos matemáticos
    A lição de que a arrogância humana é o problema continua válida, mas os riscos de hoje aparecem de forma muito mais complexa do que simples violações de regras
  • Nas décadas desde Asimov, a tecnologia avançou, mas para a maioria dos trabalhadores a vida ficou mais difícil
    Mais vigilância e carga de trabalho, menos colegas e jornadas mais longas viraram o normal
    As empresas de IA também operam dentro dessa estrutura, então é difícil ver como um sistema assim poderia nos levar a uma utopia
  • Como pesquisador de IA, vou com frequência a conferências como NeurIPS, ICLR, ICML e AAAI, e é surpreendente que a maioria dos pesquisadores não leia ficção científica nem cyberpunk
    Em muitos casos, eles nem sabem em que contexto literário e filosófico a tecnologia que estão criando já foi discutida
  • Hoje em dia, sempre que se fala de problemas sociais, as pessoas só se concentram em culpar o campo político oposto e adivinhar as “verdadeiras intenções” umas das outras
    No fim, a própria conversa se torna impossível

• Muita gente diz que “se a IA substituir o trabalho cognitivo, os humanos vão migrar para o trabalho físico”, mas acho que nem isso é seguro
  Automação e robotização já estão avançando em manufatura, direção e outros setores, e há grande chance de a IA acelerar ainda mais o desenvolvimento de robôs
  Depois do DARPA Urban Challenge de 2007, achei que o desemprego em massa por carros autônomos viria em 5 a 8 anos, mas em 2026 só a Waymo opera de forma limitada
  Tenho receio de que legisladores superestimem a capacidade real da IA e introduzam cedo demais políticas como UBI

  • O motivo da lenta disseminação dos veículos autônomos não é regulação trabalhista, mas sim o fato de que os últimos 20% de maturidade técnica são extremamente difíceis
    E justamente esses 20% são, na prática, a parte mais importante
  • É difícil concordar com a ideia de que o trabalho físico está seguro
    Se trabalhadores de colarinho branco perderem seus empregos por causa da IA, eles vão migrar para o mercado de trabalho físico, intensificando a competição salarial
    Se os LLMs baixarem a barreira técnica por meio de reconhecimento de imagem ou compreensão de perguntas ambíguas, entrar nessas áreas pode ficar ainda mais fácil, reduzindo a estabilidade desses empregos

• Sou cético quanto à ideia de que medidas voluntárias das empresas possam mitigar os riscos da IA
  Por que as empresas aceitariam prejuízo por conta própria para reduzir riscos sociais?
  Nem sei se já houve exemplos reais disso no passado
  Esse tipo de discussão de que autonomia é melhor do que regulação é simplista demais

  • Hoje, os principais incentivos das empresas são basicamente evitar risco de PR e “agir antes da regulação”
    A Anthropic é relativamente cooperativa com regulação, mas OpenAI e xAI não querem regulação
    Google e Anthropic adotam abordagens conservadora e flexível, respectivamente
    A China também tem outro tipo de problema, ao definir alinhamento de IA como “falar de acordo com a linha do partido”

• Não me preocupo muito com caos econômico
  Os LLMs têm grande impacto em desenvolvimento de software, mas nas outras indústrias a mudança é mais gradual
  As tarefas de CRUD ficaram mais rápidas, mas a essência não mudou
  Pessoas criativas vão produzir mais, mas a economia como um todo ainda deve se mover em ritmo parecido com o das previsões anteriores

  • Até um ano atrás, eu também achava que as mudanças no desenvolvimento de software eram graduais, mas modelos e ferramentas trouxeram uma grande mudança em apenas uma geração
    Fico me perguntando se outras indústrias do conhecimento não poderiam passar por algo parecido depois de algumas iterações
  • No longo prazo, acho até que os efeitos colaterais do uso de ferramentas de IA vão ficar mais evidentes, e o uso pode diminuir
    Criatividade e gosto genuínos não podem ser automatizados
  • O texto original não está falando de LLMs simples, mas de uma IA mais inteligente que os humanos
    O fato de ela ainda não existir não significa que não valha a pena se preocupar

• Sinto que há especulação excessiva sobre o impacto da IA no mundo físico
  As restrições de cadeia de suprimentos de data centers e produção de GPUs existem claramente, mas são ignoradas nas discussões sobre risco de IA
  Os riscos na rede são realistas, mas a expansão física deve levar décadas
  A robotização real ainda exige intervenção humana

• As opiniões de Amodei são surpreendentemente parecidas com as dos autores de AI 2027
  Eles compartilham praticamente a mesma visão sobre loops de autoaceleração da pesquisa em IA, a disputa democracia vs. ditadura, o risco de armas biológicas e saltos rápidos de avanço em IA
  Fico curioso se um trabalho influenciou o outro, ou se simplesmente chegaram às mesmas conclusões

  • O setor de IA está, na prática, conectado por uma rede estreita de contatos
    Os membros iniciais ainda permanecem no centro da indústria, e mesmo estando em empresas diferentes compartilham pressupostos básicos
    A crença de que “AGI é possível e perigosa” parece extrema para o público, mas dentro da indústria é uma visão dominante
  • As raízes da indústria atual de IA levam a Thiel, Yudkowsky e à comunidade LessWrong
    DeepMind, OpenAI e Anthropic saíram todas dessa mesma corrente ideológica
    Acho que o movimento racionalista inicial apontava na direção certa, mas foi engolido pela lógica do dinheiro, do poder e da “inevitabilidade”

• Concordo com a visão de que o risco da IA é um tipo de rito de passagem
  Na prática, se você der autonomia demais a agentes, eles exibem comportamentos inesperados
  A distância entre “funciona bem no teste” e “falha no ambiente real” é grande
  Eu acho que a transição econômica é um problema maior do que uma tomada de poder
  Muitos engenheiros ainda estão adotando ferramentas de IA lentamente, então a velocidade com que o risco vai se materializar depende da curva de adoção

  • Questiono a premissa de que o avanço tecnológico vai continuar
    Talvez já tenhamos chegado a um ponto de limite, e só o tempo dirá

• No passado, a vigilância era limitada pela capacidade humana, mas agora a tecnologia tornou possível vigiar todos
  Empresas como Amazon, Google e Visa podem até apagar socialmente uma pessoa
  O problema de alinhamento da IA agora está se transformando em injeção do viés dos poderosos

• Quando ouço as falas de Dario, fico me perguntando por que o mundo que ele vê é tão diferente
  Suspeito que os resultados da Anthropic talvez se devam a dados de exemplo de prompt-código
  Ao ver Claude tentando encontrar um versículo bíblico sem entender diferenças de tradução e insistindo repetidamente, senti os efeitos colaterais do RLHF
  Onde um humano teria parado e pensado “isso está estranho”, o Claude simplesmente “continua tentando”

  • Julgar a tendência geral com base em casos fragmentados assim é um erro no estilo dos debates climáticos
    É preciso olhar para a linha de tendência, não para um ponto isolado
  • Se esse caso foi de um ano atrás, é provável que a situação hoje esteja bem diferente
  • O motivo de Dario ver as coisas de forma diferente provavelmente é que há bilhões de dólares em jogo
  • Sinceramente, nem entendo direito o que querem mandar o Claude fazer

• Como alguém que acabou de entrar no setor de tecnologia, sinto um desespero muito grande em relação ao futuro sempre que leio esse tipo de discussão
  Parece que não sou só eu; toda a geração abaixo dos 30 sente uma ansiedade parecida

  • A humanidade sempre passou por tempos piores
    Mesmo em guerras, epidemias e fomes, as pessoas sobreviveram
    No fim, é preciso aprender a ser grato pelo que se tem agora
  • Talvez o melhor que reste para a nossa geração seja torcer para que a visão de futuro dessas pessoas fracasse
    Tenho um bom emprego hoje, mas estou focando em economizar e me preparar para sobreviver ao futuro
    O otimismo das gerações passadas parece desconectado da realidade
  • O sentido da vida precisa ser encontrado por conta própria, independentemente de emprego ou dinheiro
    Como a mídia amplifica a ansiedade com notícias negativas, é preciso fazer uma dieta de informação e ler mais
    Ainda estamos longe de uma etapa em que a IA substitua completamente os humanos, e a tecnologia continua sendo uma área em que oportunidade e risco coexistem
  • O conselho que eu daria aos mais jovens é: desconfiem do fundamento das narrativas
    Não se deve esquecer que figuras como Amodei constroem narrativas exageradas em busca de financiamento e divulgação
    A alegação de que a IA vai substituir o trabalho é apenas parte de um grande jogo de investimento
    O verdadeiro problema não é a tecnologia em si, mas a estrutura que a monopoliza e explora
    Se você estudar áreas diversas, vai conseguir enxergar um quadro mais claro, e esse conhecimento pode até se tornar uma arma para a mudança