Por que deixei o Google DeepMind
(turntrout.com)- Alexander Matt Turner, ex-cientista pesquisador do Google DeepMind, pediu demissão por não conseguir, em consciência, permanecer na empresa depois que o Google passou a fornecer serviços de nuvem ao DHS e ao ICE e firmou contratos com o Departamento de Defesa dos EUA sem proibir de forma vinculante armas autônomas letais e perfilamento de IA em massa
- Quando o Departamento de Defesa dos EUA exigiu da Anthropic um contrato de “todos os usos legais” sem as restrições anteriores, Turner pediu uma resposta conjunta à IASEAI e a pesquisadores renomados de IA, além de mobilizar cerca de 250 assinaturas dentro do Google e a participação de Jeff Dean em um parecer judicial
- Ele redigiu um framework de 25 páginas para contratos e supervisão que mantinha o uso da força sob controle humano e proibia perfilamento de IA não direcionado, mas mesmo após Demis Hassabis mandar revisar o texto, ele não chegou a ser avaliado por líderes seniores de políticas públicas
- O Google assinou um contrato em que, a partir de abril de 2026, o Departamento de Defesa dos EUA poderia exigir mudanças nas configurações de segurança do Gemini, e o Google não poderia recusar operações governamentais legais; além disso, a linguagem sobre evitar armas autônomas e vigilância doméstica em massa não tinha força jurídica vinculante
- Ele concluiu que compromissos éticos individuais ou confiança na liderança não bastam para manter princípios sob pressão, e que é necessária uma governança de baixa confiança com limites prévios, revisão independente e transparência
A preocupação que começou na cadeia de fornecimento do DHS·ICE
- Após um incidente em janeiro de 2026 em que agentes do DHS mataram pelo menos 2 pessoas, Turner investigou a relação entre o Google e os órgãos de fiscalização imigratória
- O AI Use Case Inventory de 2025 do DHS lista o Google como um dos fornecedores de IA generativa usados para melhorar a eficiência operacional do DHS
- O Google vende serviços de nuvem ao ICE por meio de terceiros como a ITC Federal
- Ele também criticou outras ações do Google
- Em 3 de outubro de 2025, removeu da loja um app que alertava sobre atividades do ICE
- Entregou a conta de um estudante manifestante ao ICE sem aviso prévio, quebrando a promessa de serviço de enviar um e-mail antes de divulgar informações ao governo
- O Google respondeu que os órgãos de fiscalização imigratória apenas usaram serviços comerciais de nuvem, mas o ponto levantado por Turner não era se houve serviço especial, e sim o fato de prestar serviços ao ICE
- Ele avaliou que grandes petições já haviam sido ignoradas e que ocupações, greves ou demissões em massa tinham baixa viabilidade e pouca eficácia
- Como no setor de IA um pequeno grupo de talentos difíceis de substituir pode ter enorme impacto na organização, ele entendeu que a possível saída de 10 pessoas-chave ou de uma única pessoa como Jeff Dean poderia custar mais à liderança do que a saída de 100 engenheiros de pesquisa aleatórios
Primeiro contato com Jeff Dean
- Jeff Dean era o 30º funcionário do Google, Chief Scientist e co-líder do projeto Gemini; ele também criticou publicamente o ICE e participou, em 2018, de um compromisso contra armas autônomas letais
- Em 9 de fevereiro de 2026, Turner entrou em contato diretamente com Jeff dizendo que queria ajudar a fazer o Google sair da cadeia de fornecimento do DHS
- Jeff respondeu que fazia sentido enviar um e-mail a Sundar Pichai, Demis Hassabis e Thomas Kurian
- Turner escreveu aos três CEOs com os seguintes pontos, mas não recebeu resposta
- A questão não era política partidária, e sim violações de devido processo pelo ICE, detenção de cidadãos, instalações com pouca supervisão e violações de direitos humanos
- O Cloud e o Gemini não deveriam apoiar essas operações, seja por contrato direto ou por integradores terceirizados
- A cooperação com DHS e ICE gera não só problemas de direitos humanos, mas também risco reputacional para o fornecedor
- Depois disso, pediu a Jeff um almoço para discutir formas de produzir mudanças concretas dentro do Google, e algumas semanas depois o encontro foi marcado
A pressão do Departamento de Defesa dos EUA sobre a Anthropic
- Em 25 de fevereiro de 2026, o Departamento de Defesa dos EUA exigiu que a Anthropic removesse as restrições do contrato existente e fornecesse o Claude para “todos os usos legais”
- As restrições anteriores cobriam armas autônomas letais e vigilância/perfilamento com IA
- Caso recusasse, a empresa seria ameaçada com o cancelamento de um contrato de US$ 200 milhões, designação como fornecedora de risco para a cadeia de suprimentos e imposição de fornecimento via Defense Production Act
- Ele considerou que o critério de “uso legal” tinha dois problemas
- O próprio governo poderia considerar legais ações que especialistas jurídicos independentes apontam como possíveis crimes de guerra, como em casos em que o Departamento de Defesa atacou novamente sobreviventes de um naufrágio
- Vigilância em massa e perfilamento com IA também poderiam entrar na categoria de legalidade, já que as leis de vigilância existentes não foram escritas tendo IA como premissa
- Diferentemente de uma recusa comum de contrato, a designação de risco para a cadeia de suprimentos poderia fazer com que todos os contratados militares parassem de usar a Anthropic, ameaçando a sobrevivência econômica da empresa
- Depois, a juíza Lin concluiu que essa designação era uma “retaliação ilegal típica da Primeira Emenda”
Pedido de resposta conjunta à IASEAI e a especialistas em IA
- Turner estava participando de um evento da International Association for Safe and Ethical AI (IASEAI), realizado na sede da UNESCO em Paris
- A IASEAI foi fundada em 2024 com o objetivo de criar uma voz unificada por uma IA segura e ética, e seu grupo de trabalho de 2026 incluía o Red Lines for Advanced AI, voltado a armas autônomas e escalada
- As centenas de participantes no local discutiam problemas abstratos de coordenação, como teoria da escolha pública, em vez do caso da Anthropic que havia ocorrido naquele mesmo dia
- Ele pediu uma resposta pública a pesquisadores influentes
- Pediu a Yoshua Bengio uma declaração em defesa da liberdade contratual da Anthropic e contra armas autônomas letais sem regulação, mas o escritório respondeu que não emitiria nota
- Geoffrey Hinton participava remotamente, então Turner considerou tentar contato por meio de Bengio ou Stuart Russell
- Pediu a Stuart Russell uma declaração em nome próprio e da IASEAI, além de mobilização de especialistas internos em IA
- Stuart prometeu tentar envolver Bengio e Hinton, abrir uma votação entre os membros da IASEAI e anunciar o resultado no encerramento do evento
A votação e a declaração da IASEAI que desapareceram
- No evento de encerramento, Stuart chamou a ação do Departamento de Defesa dos EUA de “esquema de extorsão (extortion racket)” e disse que promoveria uma votação dos membros sobre a tese de que a Anthropic não deveria ser forçada a fornecer seu produto para usos que não deseja
- Na votação por levantamento de mãos no local, houve apoio quase unânime a uma declaração da IASEAI em favor da liberdade contratual da Anthropic
- O plano na época era manter uma enquete aberta até a noite de quinta-feira; se dois terços aprovassem, Stuart assinaria em nome da IASEAI, e se não, publicaria uma declaração pessoal
- Turner pagou US$ 75 de taxa de associação para participar da votação, mas a enquete nunca foi aberta e a IASEAI não publicou nenhuma declaração
- As justificativas dadas pela IASEAI continuaram mudando
- Era preciso mais tempo para redigir a declaração
- Não estava claro em quais princípios ela deveria se basear
- Havia prós e contras em entrar no fluxo de notícias sobre Anthropic e o Departamento de Defesa dos EUA
- A prioridade seria melhorar os procedimentos internos para lidar com situações semelhantes
- Como a própria Anthropic publicou uma declaração, uma nota da IASEAI já não seria mais necessária
- Como a ação judicial continuou por semanas após o prazo de sexta-feira dado à Anthropic, e o contrato do Google só foi fechado dois meses depois, Turner entendeu que houve tempo suficiente para a IASEAI agir com declaração pública, parecer judicial ou contato com os tomadores de decisão do Google
- Turner pediu várias vezes que Stuart ao menos contatasse discretamente a liderança do Google ou fizesse uma apresentação, mesmo sem falar publicamente, mas não obteve resposta
- A IASEAI reembolsou a taxa de associação a pedido, e um workshop sobre linhas vermelhas para IA realizado no mesmo local apontou a vontade política como o maior obstáculo
O contrato da OpenAI e a formação da opinião interna no Google
- A OpenAI afirmou que, ao fechar contrato com o Departamento de Defesa dos EUA, preservaria restrições a armas autônomas e vigilância em massa como as da Anthropic, mas algumas análises concluíram que a redação do contrato tinha brechas amplas
- Turner pediu, em um canal interno de debate sobre atualidades do Google DeepMind, que houvesse alinhamento com a Anthropic e que se rejeitasse “todo uso legal”, e uma das mensagens recebeu mais de 125 reações de apoio
- A atividade de postagem interna tinha vários objetivos
- aumentar o custo organizacional que a liderança teria de pagar se permanecesse em silêncio
- transmitir argumentos estratégicos por canais lidos por pessoas de alto escalão
- criar uma percepção coletiva de que funcionários desconfortáveis com o contrato não estavam sozinhos
- compartilhar as brechas do contrato da OpenAI para que, se redações de proteção semelhantes fossem apresentadas, os funcionários não as aceitassem
- criar um canal pelo qual funcionários pudessem sinalizar indiretamente que poderiam pedir demissão se o contrato fosse fechado
- Como entendia que o Google evitava organização direta em grandes canais internos, ele entrou em contato de forma privada com as pessoas que deixaram reações
A petição de 250 pessoas e o memorial de amicus curiae da Anthropic
- Considerando Jeff um dos poucos executivos com compreensão ética e influência real, o foco foi fazer com que ele se tornasse o agente da ação e confirmasse o apoio dos funcionários
- Junto com amigos, em um ou dois dias, ele reuniu cerca de 250 assinaturas de funcionários do Google DeepMind e do Research e as entregou a Jeff
- os signatários pediram que ele fizesse tudo o que pudesse para impedir um contrato que ultrapassasse linhas básicas de proibição
- ele avaliou que excluir, na petição inicial, a questão da vigilância sem mandado de pessoas não americanas foi um erro de ceder, por conta própria, o que queria antes da negociação
- Quando a Anthropic entrou com ação e pedido de liminar sobre a designação de risco na cadeia de suprimentos feita pelo Departamento de Defesa dos EUA, a Protect Democracy preparou um memorial de amicus curiae de especialistas em IA
- Turner assinou o memorial e pediu a colegas e a Jeff que participassem; Jeff também assinou publicamente
- dos 18 signatários do Google DeepMind, 8 foram recrutados por Turner
- Jeff foi o único executivo de nível C a agir publicamente de forma diferente do silêncio do Google
- Ele avaliou que as assinaturas de funcionários do Google ajudaram, em certa medida, a despertar no Departamento de Defesa dos EUA a preocupação de que o Google também poderia se retirar de contratos futuros, contribuindo para atrasar as negociações
- Também pediu ao jurídico do Google que apresentasse um memorial, argumentando que, se o governo fosse deixado à vontade para pressionar a Anthropic, a mesma ameaça poderia ser usada contra o Google no futuro, mas o Google não participou, e a Microsoft apresentou um memorial
O otimismo da liderança e a possibilidade de o contrato ser fechado
- Durante todo março de 2026, executivos de alto escalão disseram que, como a liderança também reconhecia o problema, o Google não assinaria um contrato de “todo uso legal”
- Turner concluiu que, se ninguém criasse um custo real para a liderança, era muito provável que o Google recuasse
- Em um memorando com materiais citados, ele apresentou os seguintes argumentos
- há precedentes de o Google ceder até a pressões de menor risco, como entregar voluntariamente ao ICE informações sobre estudantes manifestantes
- a fatia de contratos governamentais é grande
- os princípios de IA do Google DeepMind foram enfraquecidos, saindo de proibições concretas para redações ambíguas
- questões antitruste e o histórico de processos do atual Departamento de Justiça aumentavam a pressão sobre o Google
- Ele compartilhou esse memorando várias vezes, mas concluiu que não conseguiu convencer funcionários de alto nível
A estratégia de negociação preparada em torno de Jeff
- Jeff participou, em 2018, do compromisso de “não participar nem apoiar o desenvolvimento, a fabricação, a comercialização ou o uso de armas autônomas letais” e reafirmou publicamente que sua posição não havia mudado em 2026
- Ele afirmou que a vigilância em massa viola a Quarta Emenda e a liberdade de expressão e pode ser abusada de forma política e discriminatória, dizendo que não queria vigilância em massa com IA voltada a americanos
- Turner chegou à conclusão lógica de que, se o Google fechasse um contrato irrestrito, Jeff teria de pedir demissão para manter seu compromisso
- Foi preparado um cenário para fazer Jeff dizer a Sundar Pichai que não poderia permanecer caso o contrato fosse fechado
- a petição de 250 pessoas mostraria o apoio dos funcionários
- também foi garantido o apoio de vários funcionários seniores dispostos a agir junto se Jeff traçasse uma linha
- como uma coalizão de várias pessoas poderia ser dividida por bônus ou persuasão individual, a estratégia real dependia da influência de Jeff sozinho
- Como pedir vagamente para “não fechar um contrato ruim” poderia terminar em um contrato apenas superficialmente melhorado, foi preparada uma alternativa concreta
O framework de IA militar de 25 páginas
- Turner usou suas férias para redigir, em seu tempo pessoal, 25 páginas de redação contratual e estrutura de supervisão e submetê-las à revisão de especialistas em direito militar e de vigilância
- Um especialista jurídico na área de integração entre humanos e IA em combate avaliou que o framework era “realmente muito bom” e sugeriu melhorias
- Ao fornecer IA a entidades que exercem coerção como o governo, ele aplicou dois critérios
- controle humano sobre o uso da força
- impedir que a IA seja usada em sistemas que selecionem e ataquem alvos sem controle humano adequado em cada engajamento
- aplicar isso mesmo quando apenas componentes de IA forem fornecidos para o pipeline de targeting
- exigir transparência jurídica para verificar formas legais de implantação e validação por auditor neutro acordado entre as partes
- não restringir defesa de interceptação, análise de inteligência que siga o segundo critério, logística e pesquisa e desenvolvimento
- proibição de profiling de IA sem alvo definido
- impedir que dados em massa sejam convertidos em informações sobre indivíduos que não sejam alvos investigativos já identificados
- impedir o início da análise de indivíduos apenas com base em características demográficas ou expressão política
- impedir o início de investigação aprofundada sobre um indivíduo apenas com base em output de IA
- permitir análise com alvo definido, pesquisa agregada e análise de áreas de conflito para melhorar a proteção de não combatentes
- controle humano sobre o uso da força
- Foi desenhado um Defense AI Review Body de 7 pessoas, nomeado e supervisionado pelo Chief Scientist
- 2 das 7 cadeiras seriam destinadas ao Cloud
- funcionários só se recusariam em contratos nos quais estivessem envolvidos
- o atraso na revisão seria limitado a no máximo 10 dias
- as discussões seriam protegidas por privilégio advogado-cliente
- A autoridade do Review Body seria apenas consultiva, mas casos em que recomendações fossem ignoradas entrariam em um relatório anual de transparência disponibilizado a todos os funcionários de IA
- Para dissolver a estrutura, seria necessário aviso prévio e divulgação precisa de pendências de não conformidade não resolvidas, tornando mais difícil neutralizá-la silenciosamente como ocorreu com os princípios de 2018
- Se o Congresso aprovasse leis que regulassem de forma efetiva esse tipo de uso, os critérios poderiam ser revogados por voto de ampla maioria do Chief Scientist e do Review Body
- Se fosse exigido “todo uso legal”, a estrutura previa receber um memorando jurídico que comprovasse a legalidade do uso planejado e rejeitar usos que não atendessem aos padrões da empresa
- Considerando que a contraparte contratual poderia se opor, também foram incluídas cláusulas menos importantes que poderiam ser cedidas na negociação, como o escalonamento para o conselho da Alphabet
O almoço com Jeff e a proposta enviada a Demis
- Em 17 de março de 2026, encontrei Jeff em Mountain View e propus que ele liderasse o Review Body, mas Jeff não aceitou
- Não citei conversas privadas sem permissão; o comportamento público verificável é que Jeff assinou a carta de apoio à Anthropic, mas permaneceu na empresa mesmo após o Google fechar o contrato
- Como Jeff não lideraria o framework, a chance de sucesso caiu bastante, e escolhi Demis Hassabis como próximo caminho
- Quando a DeepMind foi adquirida pelo Google em 2014, recebeu a promessa de que a IA não seria usada para fins militares ou bélicos; em 2018, os cofundadores e a própria organização também aderiram ao compromisso contra armas letais autônomas
- Depois de tentar por uma semana encaminhar a proposta pelos canais de gestão, em 1º de abril de 2026 enviei uma mensagem diretamente a Demis
- Demis instruiu duas pessoas sêniores responsáveis por políticas no Google DeepMind a avaliar o framework
- As duas inicialmente não responderam e depois encaminharam o tema para responsáveis de nível inferior
- Essas pessoas de nível inferior foram positivas em relação ao framework, mas disseram que uma resposta poderia levar meses
- Como o memorando do Departamento de Defesa dos EUA de 9 de janeiro deu a todos os contratados de IA um prazo de 180 dias, até 8 de julho, para aceitar contratos de “todos os usos legais”, uma análise de meses não combinava com a situação
- Turner se ofereceu para ir de San Francisco a London para uma sessão de perguntas e respostas, mas os responsáveis sêniores por políticas voltaram a não responder
- Fiquei insatisfeito com um processo em que, mesmo com o CEO ordenando a análise, o resultado da avaliação não foi repassado, embora mantenha aberta a possibilidade de terem existido circunstâncias legítimas desconhecidas
O contrato com o Departamento de Defesa dos EUA que o Google fechou em silêncio
- Em 27 de abril de 2026, reportagens revelaram que o Google havia fechado um contrato confidencial de IA
- Turner também assinou, junto com mais de 600 funcionários, uma carta a Sundar pedindo a rejeição do contrato confidencial de IA
- O texto central do contrato era o seguinte
- O Departamento de Defesa dos EUA pode usar a IA do Google para “todos os fins governamentais legais”
- O Google deve ajudar a ajustar configurações de segurança e filtros da IA a pedido do governo
- Havia uma formulação dizendo que ela não deveria ser usada para vigilância doméstica em larga escala nem para armas autônomas sem supervisão humana adequada
- Ao mesmo tempo, o texto declarava que o Google não tinha o direito de controlar nem recusar operações governamentais legais
- Como “should not” não é uma proibição vinculante, considerei que isso respondia às preocupações éticas apenas de forma formal
- O Google não informou internamente que havia assinado o contrato, e Turner soube disso às 23h45 em um grupo no Signal
- Também houve um caso em que o Google se retirou, após uma revisão ética interna, de uma concorrência de US$ 100 milhões para enxames de drones autônomos controlados por voz
- Avalio positivamente o fato de que, em alguns negócios, existe de fato uma revisão ética que funciona
- Porém, em um contrato de “todos os usos legais”, o Google não consegue saber para quais usos o Gemini será de fato empregado, então é difícil avaliar se os benefícios superam amplamente os danos
- Citando o caso em que até o CEO da Anthropic disse não saber que papel o Claude teve no bombardeio de uma escola feminina no Irã, ele enfatiza a falta de transparência após a implantação
A mudança em princípios de IA que diziam não ter mudado
- Demis disse que o mundo ficou mais perigoso e que não se pode tomar como garantida a vitória dos valores democráticos, por isso é preciso cooperar com governos
- Ele também afirmou que o princípio fundamental do Google — avaliar com cuidado se os benefícios superam amplamente o risco de danos — e o respeito ao direito internacional e aos direitos humanos não mudaram
- Turner considerou que o critério de “ver a situação e então decidir” não é um compromisso prévio que se mantenha mesmo sob pressão, portanto dificilmente pode ser chamado de princípio
- Os Princípios de IA do Google de 2018 afirmavam explicitamente que a empresa não desenvolveria nem implantaria armas cujo objetivo principal fosse ferir pessoas, nem vigilância que violasse normas internacionalmente reconhecidas
- Por causa desses princípios, o Google saiu em 2018 da disputa pelo contrato JEDI de US$ 10 bilhões
- A revisão de 4 de fevereiro de 2025, coescrita por Demis, removeu as proibições específicas sobre armas e vigilância
- Ao remover as cláusulas de proibição e ao mesmo tempo dizer que “os princípios não mudaram”, as duas posições não podem ser verdadeiras ao mesmo tempo; quando compartilhei essa inconsistência em canais internos no meu último dia de trabalho, muitos funcionários demonstraram decepção
Cooperação com governos e concessão irrestrita são escolhas diferentes
- Mesmo aceitando a premissa de que democracias ocidentais precisam adotar armas autônomas para enfrentar regimes autoritários, considerei que aceitar todas as exigências do Departamento de Defesa dos EUA não era a única opção
- Aplicando o framework de governança de IA militar, seria possível permitir usos necessários para a competição com a China e ao mesmo tempo restringir usos antiéticos
- Mesmo que o contrato tenha sido imposto, o Google poderia ter usado sua influência para exigir proteções legais no Congress; por isso, considero que aceitar um contrato irrestrito foi uma escolha
Confiança pessoal e governança institucional
- Demis prefere a ideia de que estruturas como um conselho independente ou uma carta de segurança talvez não funcionem corretamente em momentos decisivos e, em vez de traçar linhas claras com antecedência, busca construir confiança dentro do Google e sentar-se à mesa de decisão
- Essa filosofia se formou depois que, nas negociações para separar a DeepMind como uma organização semisseparada, Sundar recusou a estrutura independente
- Turner rebate que o sistema deveria reduzir a quantidade de confiança exigida
- Pessoas também ficam expostas a pressões decisivas e podem ter incentivos piores, como participação acionária, relações sociais com colegas e uma autoimagem ligada à empresa
- O framework faz apenas uma única suposição de confiança: que o Chief Scientist agirá de forma razoável até formar o Review Body; depois disso, cria uma confiança justificada por contratos e transparência
- Mesmo sem impedir totalmente contratos indevidos, ele adiciona atrito e custo público para aprová-los
- Demis estava à mesa de decisão de todos os contratos relevantes, mas o contrato final não continha uma única cláusula vinculante que refletisse as preocupações éticas dos funcionários
- Reconheço a possibilidade de que ele tenha evitado resultados piores, mas os termos reais do contrato ficaram próximos do pior cenário previsível e eram ainda mais fracos que os termos da OpenAI
- O cientista de pesquisa do Google DeepMind Andreas Kirsch também chegou de forma independente à mesma conclusão em “Trust is not Governance”
O fracasso do experimento de governança do Google DeepMind
- O Google DeepMind foi vendido ao Google com base na promessa de proibição do uso em armas e em uma estrutura de governança semisseparada, mas Sundar rejeitou a estrutura independente
- Os Princípios de IA de 2018, criados sob pressão dos funcionários, também foram enfraquecidos depois que a liderança removeu as proibições específicas sobre armas e vigilância
- No Google DeepMind, receita e pressão política venceram os compromissos éticos, enquanto a Anthropic manteve suas linhas de proibição existentes sob a mesma pressão
- A conclusão não é que ninguém cumpra princípios, mas que a sociedade não pode depender de que indivíduos éticos resistam até o fim
- Mesmo que o Congress não consiga responder de forma eficaz, considero que é preciso abandonar a ideia de que a simples presença de executivos “à mesa de decisão” garante segurança
As opções que restam aos signatários
- Jeff Dean, Demis Hassabis, Shane Legg e outros prometeram não apoiar o desenvolvimento, a fabricação, o comércio nem o uso de armas letais autônomas, mas permaneceram na empresa mesmo depois de o Google fornecer IA aos militares sem o direito de limitar seus usos
- Contra a interpretação de que o contrato não permitia explicitamente armas autônomas, apenas deixava de proibi-las, rebate-se que se vendar para não saber o uso não elimina a responsabilidade
- Considero que continuar na empresa desenvolvendo IA, depois de criar a melhor IA e fornecê-la a militares que desejam usar armas letais autônomas, além de abrir mão do direito de limitar o uso, entra em conflito com o compromisso assumido
- Para os signatários, haveria três escolhas honestas
- Explicar publicamente como permanecer é compatível com o compromisso
- Declarar que não apoiam mais esse compromisso e explicar por quê
- Deixar a empresa
- Se nem mesmo em uma linha clara de proibição foi possível obter uma única cláusula vinculante, então fica fraca a justificativa de “ficar para influenciar positivamente por dentro”
- Se a promessa mais clara é quebrada e nada acontece, a credibilidade da próxima promessa de segurança também diminui e, no fim, a própria promessa perde valor
O silêncio das lideranças em ética de IA
- A responsabilidade não se divide igualmente entre Pete Hegseth e Donald Trump, que pressionaram o Departamento de Defesa dos EUA, Sundar Pichai, que assinou o contrato, e Jeff Dean, que não usou mais de sua influência
- Turner se disse especialmente decepcionado com a contínua falta de resposta de especialistas seniores em IA que defendiam publicamente compromissos éticos
- Geoffrey Hinton ficou muito decepcionado com a revogação do compromisso do Google sobre IA militar e Turner especula que isso pode ter ocorrido por receio de que o governo atual tratasse o Google de forma desfavorável
- Stuart Russell e Hinton normalmente não eram figuras passivas
- Stuart há muito tempo alertava publicamente sobre risco existencial da IA e armas autônomas letais
- Hinton deixou os EUA nos anos 1980 em oposição ao financiamento de IA militar e, em 2023, deixou o Google para falar livremente sobre os riscos da IA
- Em setembro de 2025, o Global Call for AI Red Lines foi assinado por mais de 300 pessoas, incluindo 15 laureados com Nobel e Turing, e Stuart, Bengio, Hinton e Mark Nitzberg também apoiaram a proibição de vigilância em massa e de armas autônomas letais
- Embora tenham assinado princípios abstratos, quando ocorreu um conflito real entre empresa e governo em fevereiro de 2026, a IASEAI não divulgou nenhuma declaração
- A interpretação de que pouparam capital político para um momento mais importante pode explicar por que evitaram uma declaração pública, mas não explica por que recusaram até mesmo ajuda de baixo custo, como conexões privadas com tomadores de decisão do Google
- Jeff merece reconhecimento como o único executivo do Google que tomou uma ação pública, mas Turner considera que ele poderia ter exercido influência maior para impedir o contrato
Ação interna além dos limites do cargo e saída da empresa
- Um “cientista de pesquisa responsável” típico teria se limitado a tuitar preocupações e mandar mensagens a gestores, mas Turner julgou que só planos com chance de efetividade tinham valor como ação
- Ele configurou uma foto de Alex Pretti como alerta no celular e suportou o medo lembrando de casos em que a ICE matou pessoas e as arrancou de casa
- Não escolheu o caminho comum de ir para outro grande laboratório de IA e receber um grande bônus
- Também recusou contato da equipe de segurança da OpenAI
- No momento da saída, ele não tinha outro emprego
- Desde fevereiro, ele via como alta a probabilidade de o Google fechar o contrato, mas acredita que, sem o contrato real, poderia ter ficado mais alguns meses
- Quando o contrato foi assinado, sentiu que não podia mais continuar trabalhando e decidiu sair ao concluir que o escritório, como sua antiga escola, já não era mais um lugar ao qual pertencia
Contra-argumentos esperados e respostas
- Não se pode culpar indivíduos apenas por não seguirem propostas específicas, mas Turner considera que, se líderes seniores de ética tivessem agido de alguma forma, isso deveria ter produzido impacto visível no resultado
- Se Jeff de fato tivesse se oposto duramente, colocando até sua saída em jogo, Turner espera que o contrato final incluísse ao menos uma cláusula vinculante
- Nem todos têm obrigação de se manifestar sobre todos os temas, mas é diferente quando se promete uma votação entre membros e depois se cancela, ou quando a oposição a armas autônomas letais é parte importante da própria identidade e, ainda assim, se permanece em silêncio no momento decisivo
- Turner concorda que, mesmo se um framework tivesse sido apresentado, o Departamento de Defesa dos EUA poderia tê-lo rejeitado
- Outro fornecedor, como a xAI, teria fornecido IA
- No entanto, se o Google tivesse se aliado à Anthropic e à OpenAI, ou recusado as exigências do Departamento de Defesa, poderia ter transformado a submissão do setor de tecnologia em uma resposta independente
- Como o Departamento de Defesa poderia rejeitar, o Google também poderia se retirar do contrato, então a influência de Jeff continuava importante
- O Departamento de Defesa dos EUA definiu os contratos com Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle e SpaceX como uma “declaração de resposta” ao conflito com a Anthropic, enfatizando que as grandes empresas de tecnologia apoiam os militares e todos os usos legais
Risco existencial da IA e implantação militar
- Turner considera provável que um argumento confiável de segurança para IA avançada no Google DeepMind dependa fortemente do monitoramento de cadeia de pensamento (chain of thought) tratado no Frontier Safety Framework
- Uma IA desalinhada pode enganar sem revelar diretamente intenções nocivas para evitar ser desligada, e investigar a cadeia de pensamento é um dos principais meios de detectar isso
- Esse monitoramento exige supervisores humanos treinados com acesso aos dados e capacidade de analisá-los, mas datacenters militares sigilosos são isolados da infraestrutura comercial do Google
- A questão não é que funcionários do Google deveriam ler operações militares, mas que provavelmente não existem engenheiros militares adequadamente treinados para realizar esse monitoramento
- Sem monitorar engano na cadeia de pensamento, fica mais difícil controlar a possibilidade de que a IA cause danos catastróficos à humanidade por meio de estratégia, engano e tomada de controle
- Ambientes de implantação militar podem se tornar ambientes atraentes para uma IA maliciosa, pois têm supervisão fraca e, ao mesmo tempo, acesso a tomadores de decisão poderosos e infraestrutura
- Turner espera que os militares e o US CAISI desenvolvam a especialização, a atenção e os procedimentos de controle necessários para monitorar e conter uma IA maliciosa
Os limites da explicação de que “só fornecemos acesso por API”
- A diretoria afirma que fornecer acesso por API a modelos comerciais sob condições padrão do setor é uma forma responsável de apoiar a segurança nacional
- O acesso por API comum dá a impressão de que as solicitações são enviadas aos servidores do fornecedor e que o fornecedor pode monitorar o uso
- Em operações sigilosas, não é possível enviar consultas em texto claro para servidores do Google, então Turner supõe que se trate de um modelo on-premises que fornece endpoints da API do Gemini em um cluster isolado de nuvem governamental
- Nesse caso, dizer que é “apenas acesso por API” pode ser tecnicamente correto, mas cria a falsa impressão de que o monitoramento central do Google é possível e não resolve os problemas de armas autônomas, crimes de guerra e perfilamento em massa
- Turner considera que, com exceção da Anthropic, o Google também ajudou a transformar essas condições em padrão do setor
1 comentários
Opiniões no Hacker News
Respeito a decisão do TurnTrout de agir de acordo com aquilo que acredita ser certo, mesmo sob pressão. Para que a humanidade faça escolhas melhores nos grandes dilemas do prisioneiro que enfrentará nos próximos 20 anos, precisamos de mais pessoas inteligentes assim.
Eu via até pesquisadores de IA de forma negativa, por considerar que a indústria de IA extrai valor do esforço coletivo de outras pessoas e o revende ignorando isso, mas este episódio aumentou um pouco meu respeito por pesquisadores de IA. Mesmo que TurnTrout não concorde totalmente com esse enquadramento, fico feliz que ele tenha mantido seus princípios éticos.
Entrei para fazer pesquisa de segurança de AGI a fim de reduzir riscos existenciais da IA, e evitei conscientemente trabalhar no aumento do desempenho puro do Gemini. Na época, escolhi uma espécie de compromisso, e também é justo criticar essa decisão.
Saí da Microsoft por causa de sua cooperação com Israel e as IDF, incluindo vigilância de palestinos e gravação de todas as chamadas. Depois disso, a Microsoft reverteu algumas medidas, mas Satya também não está livre de responsabilidade.
https://www.theguardian.com/world/2025/sep/25/microsoft-bloc...
O texto não descreve com precisão o caso da Anthropic. Emil Michael, subsecretário de Pesquisa e Engenharia do Departamento de Defesa dos EUA, explicou no podcast All-In que, durante as negociações, Dario dizia repetidamente: “se precisarem, me liguem; a cada vez podemos definir os limites”.
Em um conflito de grande escala que pode se desenrolar em até 30 minutos após o lançamento de um ICBM, uma organização de segurança nacional não pode ligar para Dario e pedir autorização a cada vez. Emil parece ter concluído que Dario queria manter o controle final por meio de vetos item a item, e que poderia até priorizar essa autoridade acima da sobrevivência do país. Do ponto de vista de compras militares, é razoável registrar esse tipo de comportamento problemático e compartilhá-lo com outros órgãos em determinadas circunstâncias; bancos de dados para registrar problemas de contratadas já existem.
É claro que o All-In era um ambiente favorável a Emil, mas, justamente por ele não ter perdido tempo se defendendo de ataques, acho que foi possível ouvir detalhes factuais mais finos.
Trecho relevante: https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
Registros de contratadas: http://www.ppirs.gov/
Emil tinha na Uber a função de difamar e destruir adversários políticos, e não há base para achar que agora ele age de forma diferente.
Está raro demais encontrar pessoas que mantêm seus princípios.
É impressionante ver TurnTrout viver de acordo com seus princípios. Não sei se eu teria essa coragem ou confiança, e isso contrasta com pessoas inteligentes que escolhem trabalhar em empresas como a Palantir e se orgulham disso.
Também lembra a objeção de consciência contra a máquina de guerra e o sistema financeiro do império que precisa dela. Mesmo com a autoridade de ter trabalhado diretamente no Google DeepMind, as pessoas dificilmente vão ouvir, porque em tempos de guerra a loucura e o dinheiro superam a lógica e a razão.
Assim como, depois de Snowden, funcionários ligados ao Five Eyes não pediram demissão em massa, a maioria encontra motivos para não se opor à opressão. O fato de o autor, como vegetariano, já ter mantido sozinho seus princípios em uma sociedade centrada no consumo de carne pode ter servido de treino para uma objeção de consciência maior.
Quem carrega uma hipoteca, filhos, dívida de carro e cartões de crédito no limite, ou quem está perto da aposentadoria, tem dificuldade de resistir publicamente; e pessoas jovens podem não ter linguagem suficiente para expressar o que pensam. Para uma atuação individual de longo prazo dizendo a verdade ao poder, também é necessária bastante independência financeira.
Temos uma grande dívida, especialmente com aqueles que não foram reconhecidos como denunciantes porque a imprensa tratou mais da situação pessoal deles do que da essência do problema. Este primeiro passo lembra a jornada clássica do herói: após inicialmente recusar o chamado, entrar em um mundo extraordinário e voltar trazendo algo benéfico para todos.
Respeito que tenha mantido suas convicções, mas fico curioso sobre por que não quer armas de IA inteligentes. Uma IA embarcada capaz de distinguir civis desarmados de alvos militares não seria, na verdade, uma escolha mais responsável do que minas convencionais que explodem qualquer coisa?
Assim como eu não gostaria de deixar a anestesia de uma cirurgia a cargo de uma máquina baseada em LLM, também não quero, no estado atual, sistemas militares que decidam a vida ou a morte de um número muito maior de pessoas. Mesmo que, no futuro, a tecnologia de operação de armas se torne realmente confiável, surgirão novas questões filosóficas, como se a própria guerra é realmente necessária e quais são as motivações dessa tecnologia quando ela se aproxima de uma AGI.
Pessoas devem ser responsabilizadas por assassinatos injustos, mas armas de IA tornam fácil demais evitar responsabilidade com desculpas como “foi um erro do algoritmo e vamos melhorar na versão 23”. Integrar IA a armas deixa muito curta a distância até o abate totalmente automatizado.
Em recomendações de conteúdo extremista, falsos reconhecimentos de pessoas negras e contratações enviesadas a favor de homens, a culpa sempre foi jogada no “algoritmo”. Como, nesses sistemas, o que eles de fato fazem é o seu propósito, tentativas de explicitar responsabilidade legal costumam ser evitadas desesperadamente.
Já trabalhei no Google, mas o discurso sobre ética em IA era enganação, não promessa. O Google, como muitas outras empresas, mantém o foco e a motivação dos funcionários com desinformação cuidadosamente calibrada e meias-verdades.
A afirmação de que “ouvimos a voz dos funcionários” só é verdadeira quando não há impacto nos negócios e quando isso ajuda a pintar a empresa como virtuosa. Se surge qualquer resistência política ou econômica, por menor que seja, ela não escuta. Tenho grande apreço pelo autor por ter lutado por mudanças, mas os dark patterns do Google estão enraizados demais para serem arrancados apenas com uma troca educada de white papers e e-mails.
Mesmo tendo sido publicado há apenas 1 hora e recebido mais de 200 pontos, desapareceu da primeira página do HN.
O Google é uma empresa oportunista que abandonou suas políticas de DEI depois da eleição de Trump, e essas políticas nem eram sinceras desde o início. Esta tentativa era um tanto ingênua e inevitavelmente fracassaria, mas é provável que produtos militares de IA também não funcionem direito exceto para bombardear escolas femininas.
É uma corrida de CEOs para apoiar o plano de captura regulatória de Hassabis.
https://xcancel.com/sundarpichai/status/2077086951833063580#...
https://xcancel.com/satyanadella/status/2077063479232795024#...
https://xcancel.com/elonmusk/status/2077415601610297535#m
É um clube fechado deles, e nós não fazemos parte dele.
A maioria das pessoas que detém GOOG, MSFT, META etc. só quer que seu 401(k) suba, mais do que se preocupar com como os lucros são gerados, e o sistema foi projetado assim desde o início.