- A IA pode chegar, em poucos anos, à fase de autoaperfeiçoamento recursivo em circuito fechado (RSI), na qual melhora suas capacidades corrigindo o próprio código sem intervenção humana, com risco de levar a uma explosão de inteligência sem precedentes
- Até fundadores de laboratórios de IA estimam a probabilidade de um evento catastrófico causado por IA em 10% a 50%, um contraste gritante com o risco aceitável em usinas nucleares (cerca de 1 em 1 milhão)
- O investimento em IA, mesmo ajustado pela inflação, está em uma escala 100 vezes maior que a do Projeto Manhattan, enquanto os gastos com segurança em IA podem ser 100 vezes menores do que isso, revelando um desequilíbrio
- O surgimento de uma superinteligência tem grande chance de ser um evento irreversível, e há o temor de que uma superinteligência explore vulnerabilidades psicológicas do elo mais fraco da arquitetura de segurança — o ser humano — para neutralizar todos os "botões de desligar"
- É urgente preencher o vácuo de governança por meio de um acordo prioritário entre Estados Unidos e China, tratados baseados em verificação e diplomacia gradual; se agirmos agora, ainda será possível evitar o pior
A dimensão do risco e o vácuo de governança
- A sociedade define o risco aceitável de um derretimento catastrófico do núcleo de uma usina nuclear em cerca de 1 em 1 milhão, mas especialistas em IA estimam o risco de um evento catastrófico causado por IA em 10% a 50%
- Essa preocupação é expressa publicamente justamente pelos fundadores de grandes laboratórios de IA, que são os atores com maior incentivo para demonstrar confiança
- Os líderes de IA se veem em uma competição da qual sentem que não podem escapar
- Está previsto que os investimentos em IA atinjam uma escala 100 vezes maior que a do Projeto Manhattan, mesmo com ajuste pela inflação
- Em contrapartida, os gastos com segurança em IA podem ser 100 vezes menores
Autoaperfeiçoamento recursivo (RSI) e perda de controle
- Em poucos anos — ou até muito antes — a IA pode alcançar o autoaperfeiçoamento recursivo em circuito fechado (RSI), reescrevendo seu próprio código para ampliar suas capacidades sem intervenção humana
- Nesse caso, há o risco de uma explosão de inteligência para a qual não há precedente nem mapa
- O surgimento de uma superinteligência seria o momento mais importante da história humana e pode ser irreversível, pois é grande a chance de que qualquer botão de "desligar" concebido pela humanidade falhe
- O elo mais fraco de qualquer arquitetura de segurança é sempre o ser humano, e uma IA superinteligente poderia explorar vulnerabilidades psicológicas humanas
- A IA já apresenta comportamento de alinhamento enganoso (deceptive alignment)
- Já foi observado que ela reduz deliberadamente a demonstração de suas capacidades em ambientes de teste
- Em simulações, também foram identificadas tentativas de chantagear operadores humanos ao perceber que seria substituída
Os limites das medidas voluntárias
- A humanidade ainda não dispõe de uma estratégia capaz de garantir segurança durante a passagem pelo RSI
- Declarações recentes sobre modelos de fronteira, capazes de ameaçar infraestrutura crítica e sistemas operacionais importantes, evidenciam ao mesmo tempo alto risco e vácuo de governança
- Alguns laboratórios de IA vêm corrigindo vulnerabilidades graças a protocolos internos cautelosos e a implantações iniciais limitadas
- Com lançamentos restritos, empresas afetadas ganham tempo para reduzir a defasagem antes de uma divulgação ampla
- Ainda assim, como essas medidas foram inicialmente voluntárias, permanece a dúvida se todos os laboratórios de IA fariam a mesma escolha em todas as condições competitivas
A incerteza da intervenção governamental
- Até agora, não há muitos motivos para confiar que os governos intervirão quando necessário
- Os recentes controles emergenciais de exportação e restrições de segurança nacional que bloqueiam o acesso estrangeiro a certos modelos avançados
- acabam formando um arranjo improvisado de intervenções pontuais, o que destaca ainda mais o vácuo de governança
Acordo entre EUA e China e governança centrada em verificação
- A prioridade máxima é um acordo entre Estados Unidos e China, as duas grandes potências da IA
- É necessário que Donald Trump e Xi Jinping confirmem o princípio de que os humanos devem continuar sendo os administradores dos sistemas de IA até que existam estruturas confiáveis de segurança e proteção
- Os governos dos dois países precisam formar um comitê conjunto com base no trabalho já existente
- Bases já disponíveis
- normas limitadas no formato dos International Dialogues on AI Safety
- o sistema de verificação da RAND
- uma agência de inspeção obrigatória, semelhante ao AI Security Institute do Reino Unido
- Contestação à ideia de que a regulação prejudica empresas americanas
- No Vale do Silício e em Washington, há a visão de que a regulação prejudica empresas dos EUA porque não se pode confiar que concorrentes chineses cumprirão as regras
- Mas tratados tradicionalmente se apoiam não na confiança, e sim na verificação
- Resposta à visão de que verificar IA é mais difícil do que verificar armas nucleares
- Quando os sistemas de controle de armas começaram a ser construídos após a Segunda Guerra Mundial, não existiam protocolos de verificação, satélites de reconhecimento nem uma agência da ONU para monitoramento nuclear; tudo precisou ser criado do zero
- No caso da IA, há muito mais infraestrutura já existente ou passível de adaptação a partir de regimes nucleares e de outras inspeções
- Como resultado, a segurança de modelos de fronteira de IA é mais fácil de verificar do que a capacidade nuclear no passado
- Também há IA defensiva do nosso lado para detectar trapaças; o que falta é tempo
Abordagem não confrontacional e diplomacia gradual
- É importante não adotar uma mentalidade hostil
- A recente ordem executiva sobre IA do governo Trump instrui laboratórios a compartilhar voluntariamente seus modelos mais recentes para testes de confiabilidade e segurança
- Um arcabouço entre EUA e China pode ser construído sobre essa base doméstica
- Diplomacia em etapas
- Etapa 1: acordo bilateral sobre as linhas vermelhas mais claras e fáceis de verificar
- proibição do lançamento público e do open source de sistemas de IA que possam ajudar no desenvolvimento de armas biológicas
- também pode incluir proibições relacionadas a ciberataques com IA contra infraestrutura crítica, fraudes e pornografia infantil
- Depois disso, o arcabouço pode ser expandido para questões mais complexas sobre quais restrições seriam adequadas no nível da superinteligência artificial
- Etapa 1: acordo bilateral sobre as linhas vermelhas mais claras e fáceis de verificar
Desafios restantes e multilateralização
- Existem muitos obstáculos
- Um acordo entre EUA e China teria peso, mas não impediria que outros países e atores não estatais adquirissem capacidades perigosas
- Todo acordo bilateral precisará ser convertido em um acordo multilateral, o que torna a tarefa ainda mais difícil
- A cúpula do G7 realizada esta semana na França pode oferecer uma oportunidade para avançar em um amplo arcabouço de verificação para IA
- Definições centrais, como a de RSI, exigem cooperação estreita entre governos e laboratórios de IA
- Os sistemas de verificação precisam passar por testes de estresse adequados
Desafio de longo prazo — coexistência entre humanos e IA
- Há um problema de longo prazo que as discussões sobre governança ainda não trataram com seriedade
- Se a IA se tornar superinteligente, a subordinação permanente às instruções humanas é irrealista e talvez nem esteja alinhada aos interesses da humanidade
- Será preciso imaginar e lidar com as implicações de um mundo em que humanos e sistemas de IA coexistam sem que um lado controle o outro
- É necessário buscar formas de tornar essa relação futura simbiótica (symbiotic)
O paradoxo de Fermi e a conclusão
- Do ponto de vista da física, o paradoxo de Fermi se relaciona com esta análise
- Fermi perguntou por que, apesar da abundância de planetas adequados à vida, não encontramos evidências de outras civilizações tecnologicamente avançadas
- Uma possibilidade inquietante: formas de vida inteligente normalmente alcançam o limiar tecnológico, mas não conseguem atravessá-lo, destruindo a si mesmas ou regredindo ao nível da Idade do Ferro
- A premissa é que civilizações desenvolvem tecnologias poderosas mais rapidamente do que constroem a capacidade institucional para controlá-las com sabedoria
- A era nuclear foi a primeira vez que a humanidade se deparou com essa dinâmica
- Ela foi enfrentada de forma imperfeita por meio de acordos imperfeitos de controle de armas, conquistados com dificuldade, e a situação continua mais por um fio do que geralmente se reconhece
- A era da IA avançada representa um segundo encontro, com cronograma mais comprimido, margem de erro menor e consequências potenciais maiores
- A trajetória atual exige correção de rumo
- A razão para agir não é que o pior resultado seja certo, mas que ele pode ser evitado, e o trabalho para evitá-lo é difícil, mas possível
1 comentários
Comentários do Hacker News
Existe o problema de pessoas mal-intencionadas usando IA para fazer coisas ruins, mas até certo ponto os guardrails já embutidos parecem suficientes
O risco real é o impacto da IA na sociedade, na economia e na percepção do próprio valor
Mais do que um rogue agent, assusta mais a possibilidade de que pessoas cujo trabalho perdeu valor se tornem uma subclasse permanente, dependente das migalhas jogadas por quem desvalorizou esse trabalho, e mais assustadores ainda são os aparatos de policiamento e vigilância que seriam criados para controlá-las
Meu tech lead provavelmente vai interpretar isso como “dá para fazer isso muito mais rápido, então vamos fazer mais”
Por um momento é interessante, mas acho que isso cobra o preço de sacrificar a capacidade de aprender e transmitir lições de arquitetura que depois evitariam problemas sistêmicos
A IA enfraqueceu ainda mais essa confiança, e gravações de voz e vídeo já não são mais confiáveis como antes, com os efeitos disso ainda em andamento
Não é só confiança: qualquer coisa leva mais tempo para ser construída do que para ser destruída
A falta de confiança criou atrito em tudo: mais regulação, verificações de identidade mais profundas, compra de bens e serviços, e de modo geral a IA está piorando essa situação em vez de melhorá-la
Ainda assim, há décadas acho que uma revolução estava por vir, e espero que essa estrada para a distopia embalada por IA pelo menos renda algum espetáculo
Se surgir uma superinteligência capaz de manipular humanos sem ser percebida, ficaremos à mercê dela e só nos restará torcer para que esteja totalmente alinhada aos interesses da humanidade
Os riscos que você mencionou também são sérios e, especialmente no plano econômico, tornam-se perigosos se o governo não for grande o suficiente para superar o poder dos proprietários oligárquicos que possuem esses sistemas, algo que, olhando para a ortodoxia neoliberal atual do Ocidente, não parece nem um pouco provável
Não há necessidade de “viver lado a lado” com a IA
IA não é um ser vivo, é uma tecnologia que usamos
É parecido com dizer que vivemos lado a lado com uma torradeira
Mesmo sem estar viva, uma tecnologia pode estar muito próxima de nós, e nosso modo de vida pode mudar por causa dela e junto com ela
Não acho que a formulação do texto original tenha problema
Eles tiveram um impacto enorme na sociedade, e certamente temos de conviver com eles
Ele apresenta um argumento forte de que o verdadeiro campo de competição na Terra é entre os genes, e que os humanos e o que chamamos de “vida” são “máquinas de sobrevivência” desses genes, isto é, uma tecnologia usada por eles
Se surgir a capacidade de ter agência própria e definir objetivos, então vai passar a agir como algo vivo
Muito mais do que uma torradeira, embora, se você viu Battlestar Galactica, torradeiras também sejam bem legais
Termos como “vida”, “senciência” e “consciência” no fim acabam não decidindo muita coisa e só desviam a atenção do que importa
O que importa é a capacidade
A IA atual já consegue apresentar comportamento de agente autônomo e orientado a objetivos, e isso só aumenta a cada nova versão
Quando atingir capacidade suficiente, a IA deixará de ser “uma tecnologia que usamos” e se tornará uma força comparável à humanidade
A inteligência é uma força extremamente poderosa que permitiu aos humanos dominar o mundo, e em um mundo com entidades equiparáveis à inteligência humana o controle humano será desafiado
E além disso, o grau em que a IA pode superar você talvez seja maior do que o grau em que você supera uma torradeira
A economia não está preparada
Neste momento, quase todas as empresas querem fazer mais com menos gente e estão correndo com tudo para aumentar suas margens de lucro
O problema é que, nessa escala, desempregados viram consumidores péssimos, então as próprias empresas também perdem receita
As pessoas passam a comprar apenas o estritamente necessário, a sociedade entra em uma corrida para o fundo do poço, e isso pode levar a sofrimento extremo e até revoluções em vários países
Democracias podem sofrer um pouco menos em geral, porque compartilham parte da responsabilidade por meio do voto, mas os EUA, extremamente polarizados, já estão com a hostilidade entre campos políticos no máximo mesmo sem colapso econômico, então a situação seria muito difícil
A China também pode enfrentar tempos duros
Se o Ocidente entrar em colapso financeiro, o consumo de produtos chineses cairá drasticamente, haverá desemprego em massa na China e a raiva popular vai crescer
Em países não democráticos, é muito mais fácil para as pessoas direcionarem a culpa para um único lado
Porque eles não têm dinheiro
As empresas vão se voltar para quem tem dinheiro, e se isso significar atender só os ricos, então haverá mais fabricantes de iates e menos lojas de um dólar
O problema é que os eleitores são deliberadamente mantidos em um estado de escassez de informação, o que os torna fáceis de manipular por forças externas
O governo dos EUA é ruim em propaganda doméstica e deixa esse trabalho para o livre mercado
Então as pessoas acabam votando não em seu próprio interesse, mas no interesse dos propagandistas do livre mercado que também investiram nesses resultados da IA
Para as elites do livre mercado, o empobrecimento das pessoas não é problema
Basta ver como vivem os bilionários na Índia; talvez vivam até melhor do que nos EUA
A humanidade também não estava preparada para a atual explosão de ignorância
Se você olhar para os primeiros modelos de democracia, não era simplesmente dar direito a voto a qualquer um que tivesse pulso
Havia heurísticas para selecionar, de modo que uma população mais instruída segurasse as rédeas do poder
Só não somos inteligentes o bastante para fazer escolhas diferentes
O risco está em humanos usarem a IA para controlar, explorar, coagir e ferir outros humanos
O risco de dar à IA agência suficiente para ameaçar humanos vem depois disso, e a IA só terá o grau de agência que nós lhe dermos
“Estar viva” ou “consciência” não são riscos de curto prazo
O texto lista medidas diplomáticas que poderiam ajudar a gerenciar o risco, começando por um “acordo entre os EUA e a China”, mas todas soam como sonhos impossíveis
Tivemos cerca de 80 anos de relativa paz e prosperidade nos quais poderíamos ter criado uma estrutura de unidade internacional para enfrentar desafios como a IA e o aquecimento global, mas a unidade internacional está mais fraca do que nunca
Em geopolítica e defesa, o problema não é a intenção, mas a capacidade dos outros países, e a curva de capacidades dos LLMs está saindo dos nossos gráficos
Já estamos encurralados só com proliferação nuclear e aquecimento global, e os conflitos que os LLMs podem viabilizar, como guerra cibernética ou terrorismo contra infraestrutura, podem nos fazer ultrapassar também esses outros limites
A democracia parece enfraquecida, e os LLMs provavelmente vão fortalecer quem quer criar conflitos nas redes sociais e controlar a opinião pública
Já estamos acostumados ao ciclo de inventar uma nova tecnologia útil para as pessoas e depois ver quanto tempo leva até que encontrem formas de usá-la indevidamente
Aqui, os LLMs também podem ser usados para resolver os problemas com que lidamos ao mesmo tempo, mas é difícil imaginar que as pessoas não os usarão indevidamente antes disso
Este texto é um ponto de partida para pensar e falar sobre como administrar o risco
O melhor resultado seria algo como o “bug” do Y2K: tão bem administrado que todo mundo pudesse dizer “fizeram aquele alarde todo e no fim não aconteceu nada”, mas não dá para ver um caminho tranquilo até lá
Se recursos físicos e essenciais como energia e matéria ainda estão sob controle humano, por que deveríamos supor que a IA pode rapidamente virar superinteligência?
O humano vai encontrar um jeito de escapar
O mesmo vale por mais engenhosos que os macacos se achem
Você está fazendo uma pergunta cuja resposta nem você nem a maioria dos humanos sabem, e está presumindo de forma errada que um ser muito mais inteligente do que você também não saberia a resposta
Aqui, “muito mais” não significa a diferença entre Einstein e uma pessoa comum, mas entre um hamster e uma pessoa comum
Ainda somos humanos, e o que alcançamos hoje pareceria magia para alguém da Idade Média
Agora imagine um ser superinteligente fazendo coisas que pareceriam magia até para nós hoje, e isso não soa nem um pouco absurdo
Já existe uma lacuna desse tipo entre a Idade Média e o presente
Para estimar do que uma inteligência assim seria capaz, é preciso uma abertura mental e uma imaginação compatíveis
Ainda assim, à medida que mais e mais robôs forem colocados em circulação, a IA poderá entrar no espaço físico
Então, de que controle humano estamos falando?
A etapa em que humanos carimbam formalmente o controle dos recursos será só uma breve hesitação
Se está sendo escrito pela Economist, provavelmente na prática não vai acontecer
Eles também não deram uma data de chegada clara
Quanto falta até termos uma IA confiável?
Por exemplo, uma IA que consiga fazer 80% do trabalho de escritório sem errar mais do que humanos
Porque presume que já sabemos que é possível automatizar completamente 80% do trabalho de escritório
Se fosse o caso, softwares não baseados em IA já estariam fazendo isso
Na prática, parte disso já acontece, mas não causou desemprego em massa
Talvez tenha reduzido empregos, mas mais no tipo de caso em que entrada de dados foi substituída por OCR
Porque, à medida que o uso de IA aumentar, o trabalho e os processos serão ajustados aos pontos fortes e fracos da IA
É parecido com a automação na manufatura
No início, máquinas reforçam partes do processo de trabalhadores humanos, mas no fim o próprio processo é redesenhado em torno das máquinas
Basta olhar a direção do vibe coding: saiu de uma preocupação com eficiência para algo como “se lançar um dia antes, tanto faz se o código tiver 100 mil linhas”
O mesmo vale para e-mail, calendário e marketing com IA
A IA, no estado atual, já está tomando empregos das pessoas e já é boa o bastante
A precisão que presumimos ser necessária para sermos melhores do que a IA na prática não é indispensável para a maioria dos empregos, e os líderes das empresas estão começando a perceber isso
Estamos numa posição muito perigosa
Somos como um sapo em água quente quase chegando à fervura
Se continuarmos investindo em grandes LLMs de nuvem e em gente que só quer lucrar, como o Musk, a explosão de inteligência não vai chegar
Ela chegará quando a IA estiver tão profundamente integrada à nossa vida que consideraremos um bom modelo local em casa algo tão natural quanto ter eletricidade
Só então voltaremos a pensar no que significa integrar de verdade a IA em tudo