- Firmou um contrato com o Departamento de Defesa dos EUA (DoD) sobre a implantação de sistemas avançados de IA em ambientes sigilosos e pediu que as mesmas condições fossem aplicadas igualmente a todas as empresas de IA
- O acordo explicita três linhas vermelhas: não usar a tecnologia da OpenAI para vigilância doméstica em massa, controle direto de sistemas de armas autônomas nem tomada de decisão automatizada de alto risco
- Adota um modelo de implantação somente em nuvem, no qual a OpenAI mantém total discricionariedade sobre a stack de segurança, com pessoal da OpenAI com autorização de segurança participando do loop
- Afirma ter guardrails mais fortes do que contratos existentes, como os da Anthropic, e exclui implantação em dispositivos de borda para bloquear a possibilidade de uso dedicado a armas autônomas
- Enfatiza a necessidade de construir um sistema de cooperação democrática entre empresas de IA e governo, e também pediu ao governo que resolvesse o conflito com a Anthropic
Contexto e objetivo do contrato
- Firmou um contrato com o Departamento de Defesa dos EUA sobre a implantação de sistemas avançados de IA em ambientes sigilosos e solicitou que as mesmas condições fossem oferecidas a todas as empresas de IA
- Defende que, dada a importância da tecnologia de IA, é necessária uma cooperação profunda entre processos democráticos e pesquisa em IA
- Parte do entendimento de que as pessoas que defendem os EUA devem ter as melhores ferramentas, ao mesmo tempo em que reconhece que essa tecnologia pode criar novos riscos para o mundo
Três linhas vermelhas
- Proíbe o uso da tecnologia da OpenAI para vigilância doméstica em massa (mass domestic surveillance)
- Proíbe o uso da tecnologia da OpenAI para controle direto de sistemas de armas autônomas (autonomous weapons systems)
- Proíbe o uso da tecnologia da OpenAI para tomada de decisão automatizada de alto risco (por exemplo, sistemas de crédito social)
- Ao contrário de outros laboratórios de IA, que reduzem ou removem guardrails de segurança e dependem apenas de políticas de uso, a OpenAI sustenta que uma abordagem de proteção em múltiplas camadas é mais eficaz
Componentes centrais do contrato
-
Arquitetura de implantação
- Implantação somente em nuvem, incluindo uma stack de segurança operada diretamente pela OpenAI
- Não fornece modelos com guardrails removidos nem modelos sem treinamento de segurança
- Exclui implantação em dispositivos de borda, bloqueando a possibilidade de uso em armas letais autônomas
- É possível verificar de forma independente se há violação das linhas vermelhas, além de executar e atualizar classificadores (
classifiers)
-
Cláusulas contratuais
- O Departamento de Defesa pode usar os sistemas de IA para qualquer finalidade legal compatível com as leis aplicáveis, os requisitos operacionais e os protocolos estabelecidos de segurança e supervisão
- Quando leis, regulamentos ou políticas do departamento exigirem controle humano, o sistema não pode ser usado para comandar armas autônomas de forma independente
- De acordo com a DoD Directive 3000.09 (de 25 de janeiro de 2023), o uso de IA em sistemas autônomos e semiautônomos deve passar por rigorosa validação, verificação e testes em ambientes realistas antes da implantação
- O tratamento de dados pessoais em atividades de inteligência deve cumprir a Quarta Emenda, a National Security Act (1947), a Foreign Intelligence Surveillance Act (1978), a Executive Order 12333 e diretrizes relacionadas do Departamento de Defesa
- Proíbe monitoramento irrestrito de dados pessoais de cidadãos dos EUA
- Em atividades domésticas de aplicação da lei, o uso só é permitido quando autorizado pela Posse Comitatus Act e outras leis aplicáveis
-
Participação de especialistas em IA
- Engenheiros da OpenAI com autorização de segurança são destacados junto ao governo para dar suporte
- Pesquisadores de segurança e alinhamento (alignment) com autorização de segurança participam do loop
Principais pontos do FAQ
-
Motivo da assinatura do contrato
- As Forças Armadas dos EUA precisam de modelos de IA robustos para responder à ameaça da integração de IA por países potencialmente adversários
- No início, entendeu-se que ainda não havia salvaguardas e sistemas prontos para implantação sigilosa, por isso o contrato não foi fechado imediatamente; houve trabalho preparatório para garantir o respeito às linhas vermelhas
- Remover salvaguardas técnicas centrais para melhorar desempenho em tarefas de segurança nacional não é a abordagem correta
- O objetivo também é reduzir a tensão entre o Departamento de Defesa e os laboratórios de IA dos EUA, pedindo ao governo que ofereça as mesmas condições a todos os laboratórios e, em especial, que resolva a questão com a Anthropic
-
Comparação com a Anthropic
- A OpenAI avalia que seu contrato oferece garantias melhores e salvaguardas mais responsáveis do que o contrato existente da Anthropic
- Com implantação somente em nuvem (não em edge), manutenção da própria stack de segurança e participação de pessoal da OpenAI com autorização de segurança, as linhas vermelhas seriam mais executáveis
- Diz não saber por que a Anthropic não conseguiu fechar esse contrato e espera que a Anthropic e mais laboratórios considerem isso
-
Sobre designar a Anthropic como "risco de cadeia de suprimentos"
- É contra designar a Anthropic como "risco de cadeia de suprimentos" e comunicou claramente essa posição ao governo
-
Possibilidade de armas autônomas
- Com base na stack de segurança, na implantação somente em nuvem, na redação do contrato e nas leis, regulamentos e políticas existentes, não pode ser usado em armas autônomas
- O pessoal da OpenAI participa do loop para fornecer garantia adicional
-
Possibilidade de vigilância em massa
- Com base na stack de segurança, na redação do contrato e nas leis existentes que restringem fortemente a vigilância doméstica pelo Departamento de Defesa, não pode ser usado para vigilância em massa
-
Possibilidade de implantação sem stack de segurança
- Mantém controle total sobre a stack de segurança e não faz implantação sem guardrails de segurança
- Ao contrário de outros laboratórios de IA, que reduzem guardrails de modelo e dependem de políticas de uso como principal mecanismo de segurança, a OpenAI afirma que sua abordagem em múltiplas camadas é mais eficaz
-
Em caso de violação do contrato pelo governo
- Como em contratos comuns, se a outra parte violar os termos, o contrato pode ser rescindido
-
Em caso de mudança em leis ou políticas
- O contrato faz referência explícita aos padrões atuais de leis e políticas relacionadas a vigilância e armas autônomas
- Mesmo que leis ou políticas mudem no futuro, o uso do sistema deve continuar em conformidade com os padrões atuais incorporados ao contrato
- A OpenAI concorda com as duas linhas vermelhas apresentadas pela Anthropic (vigilância doméstica em massa e armas totalmente autônomas) e acrescenta uma terceira: tomada de decisão automatizada de alto risco
- Vigilância doméstica em massa: durante as trocas, ficou claro que o Departamento de Defesa considera isso ilegal e não planeja usar a tecnologia para esse fim; o contrato também explicita que isso não se enquadra em uso legal
- Armas totalmente autônomas: no ambiente de implantação em nuvem incluído no contrato, não é possível operar armas totalmente autônomas, pois isso exigiria implantação em edge
- Além dessas proteções, há salvaguardas adicionais em múltiplas camadas, como a stack de segurança e a participação, no loop, de especialistas técnicos da OpenAI
1 comentários
Comentários do Hacker News
Pela minha interpretação, o contrato entre a OpenAI e o Departamento de Defesa parece proibir vigilância em massa contra cidadãos dos EUA, mas na prática isso só significa que fica limitado ao que já é proibido por lei
Ou seja, dá para ler isso como permitindo que o Departamento de Defesa compre em massa dados como localização ou transações financeiras de empresas privadas e os analise com as ferramentas da OpenAI
Pelo que sei, o contrato da Anthropic não tinha uma cláusula assim
Se isso for verdade, é algo terrível. Mas como recentemente eu tirei muitas conclusões precipitadas, desta vez estou suspendendo o julgamento
(Para constar, sou ex-funcionário da OpenAI e acionista atual)
Ao contrário da época em que era uma organização sem fins lucrativos, agora ela já mudou a política de privacidade duas vezes para coletar mais dados meus
O processo para desativar as configurações também é complicado e cheio de dark patterns. A função de baixar dados também praticamente não funciona
É um exemplo clássico de ‘weasel language’ (linguagem evasiva)
Se esse princípio desaparecer, a maior parte desses cenários de pesadelo também desaparece
A expressão “Shall not be used as consistent with these authorities” é estranha até gramaticalmente
Parece que os advogados escreveram isso de propósito de forma ambígua para deixar espaço para uma interpretação de PR
A frase “The Department of War may use the AI System for all lawful purposes…” no fim quer dizer que pode ser usado para qualquer finalidade que a lei permita
A Anthropic tentou aplicar seus próprios critérios morais, mas a OpenAI aceitou as exigências do governo como vieram
Pessoalmente, eu entendo os dois lados, mas a postura do governo em relação à Anthropic foi maliciosa e prejudicial aos interesses dos EUA
O governo já faz coisas ilegais às claras, e ninguém sabe o que pode estar acontecendo em segredo
No fim, a posição central da Anthropic era a posição moral de que não se pode confiar no governo
Mudar as regras também depende deles
Sam Altman é ingênuo, ou então quer nos fazer pensar isso
Isso é claramente um crime de guerra, então quem vai julgar a “legalidade”? A OpenAI, o secretário de Defesa ou um juiz?
A expressão “para todos os fins legalmente permitidos” significa que quem faz a lei não está se impondo limites
Mas, se você ajudar o governo sabendo que algo é ilegal, isso pode configurar conspiração criminosa. O governo pode ter imunidade, mas a OpenAI talvez não
Eu não acho que a Anthropic seja totalmente moralmente impecável
O mesmo vale para o ChatGPT
Mas, neste momento, cancelar o ChatGPT e usar o Claude é uma forma de mostrar a mensagem que eu quero passar
Se as empresas souberem que os usuários vão embora assim que surgir uma controvérsia, elas também ficam mais cautelosas
Foi admirável a Anthropic não ter cedido desta vez
Falta GPU, mas eu também pretendo largar o ChatGPT e migrar para o Claude ou o Kimi
No fim, mesmo que um funcionário assuma uma posição moral, isso não significa nada se ele não tiver poder de decisão
O único poder é “pedir demissão”
Se os engenheiros-chave pararem em conjunto, Sam Altman sozinho não consegue manter a empresa funcionando
A OpenAI está fazendo uma evasão de responsabilidade moral ao dizer algo como “vamos delegar a responsabilidade moral da IA à lei”
Se ainda há funcionários da OpenAI com patrimônio líquido acima de US$ 2 milhões que continuam lá, é porque a bússola moral deles está quebrada
Agora já não é diferente de trabalhar na Palantir ou na xAI
A frase “pode ser usado para todos os fins legais” no fim significa que, por causa de uma regulação insuficiente, o Departamento de Defesa conseguiu o que queria
Este post de blog faz a situação parecer ainda pior
Ele não traça uma linha clara em relação aos usos controversos que a Anthropic tinha rejeitado
Apenas diz que “só é possível em casos legais e testados”
Dá a sensação de algo como a IBM vendendo máquinas para a Alemanha nos anos 1930 e depois dizendo “nós não sabíamos”
No fim, o que os militares queriam eram armas autônomas e vigilância em massa, além de outros usos que podem ser legais no sentido jurídico, mas estão numa zona cinzenta moral