OpenAI: “Anthropic não deve ser designada como risco de cadeia de suprimentos”

• A OpenAI firmou um contrato com o Department of War para implantar sistemas avançados de IA em ambientes sigilosos e pediu que isso seja aplicado da mesma forma a todas as empresas de IA
• Afirmou que esse contrato inclui mais salvaguardas de segurança do que implantações anteriores de IA em ambientes sigilosos
• Estabeleceu como linha vermelha não usar a tecnologia da OpenAI para vigilância doméstica em larga escala, comando de armas autônomas e tomada de decisão automatizada de alto risco
• Mantém discricionariedade total sobre a pilha de segurança, implantação baseada em nuvem, intervenção de pessoal com autorização de segurança e fortes proteções contratuais
• Deixou claro ao Department of War que Anthropic não deve ser designada como risco de cadeia de suprimentos

---

Contrato com o Department of War

• A OpenAI firmou um contrato com o Department of War para implantar sistemas avançados de IA em ambientes sigilosos
  • Pediu que essa implantação seja oferecida da mesma forma a todas as empresas de IA
• Este contrato inclui mais mecanismos de segurança do que contratos anteriores de implantação de IA em ambientes sigilosos

Manutenção das linhas vermelhas

• A tecnologia da OpenAI não será usada para vigilância doméstica em larga escala
• A tecnologia da OpenAI não será usada para comando de sistemas de armas autônomas
• A tecnologia da OpenAI não será usada para sistemas automatizados de tomada de decisão de alto risco (ex.: social credit)

Estrutura de proteção de segurança em múltiplas camadas

• Em contraste com alguns laboratórios de IA que, em implantações de segurança nacional, reduziram ou removeram proteções centradas em políticas de uso
• A OpenAI aplica uma abordagem ampliada em múltiplas camadas
  • Mantém discricionariedade total sobre a pilha de segurança
  • Mantém o modelo de implantação baseado em nuvem
  • Estrutura com intervenção de pessoal da OpenAI com autorização de segurança
  • Inclui fortes proteções contratuais
  • Em paralelo com as proteções já previstas na legislação dos EUA

Posição sobre a Anthropic

• Manifestou oposição a designar a Anthropic como risco de cadeia de suprimentos
• Deixou essa posição clara ao Department of War

[kayws426]

Acho que seria necessário organizar uma linha do tempo sobre isso. Também há quem diga que a OpenAI estava em negociações contratuais, não é?

[kentakang]

Esse erro de resumo como "sem conteúdo" é novidade pra mim..

[xguru]

Parece que há casos assim porque ficou meio complicado para o X rastrear. Vamos tentar melhorar.

[kentakang]

Sempre acompanho muito bem, obrigado.

[GN⁺]

Opiniões do Hacker News

• O ponto central é a diferença entre a redação real do contrato da OpenAI e o que Altman diz
  No contrato, está escrito que “não será usado para operar armas autônomas quando a lei ou a política exigirem controle humano”
  Ou seja, se o Departamento de Defesa decidir que “controle humano não é necessário”, então isso passa a ser permitido
  A Anthropic estabeleceu uma linha vermelha absoluta de “vigilância em massa jamais”, enquanto a OpenAI afrouxou isso para algo como “se a lei permitir, pode”
  Assinar um contrato assim e depois fingir defender a Anthropic parece um show de PR raro até para este setor

  • Acho que esse tipo de conduta do Altman é um padrão típico que já apareceu no caso de sua destituição anterior
  • Eles usaram uma formulação como “vigilância em massa de americanos é proibida”, mas no fim a margem para interpretação é grande demais

• No fio no X, a OpenAI afirmou que “o contrato com o Departamento de Defesa respeita nossas redlines”
  Mas, segundo a reportagem da NPR, a Anthropic foi excluída do contrato justamente por manter o mesmo padrão, enquanto a OpenAI ficou com o dinheiro

  • A Anthropic tomou uma decisão ética de “não cruzaremos essa linha”, enquanto a OpenAI agiu como se dissesse “deixa o Departamento de Defesa decidir”
    Foi assim que conseguiu o contrato
  • A Anthropic tentou incluir cláusulas restritivas no contrato, mas a OpenAI alegou que seus próprios guardrails já eram suficientes
    Ainda assim, é questionável se esses guardrails conseguiriam impedir vigilância de civis
  • Pelo post oficial da OpenAI, as redlines dela não coincidem com as da Anthropic
  • Também é possível que o governo tenha excluído a Anthropic simplesmente por retaliação
  • Altman é uma pessoa sem consciência, e não vejo motivo para acreditar no que ele diz

• O problema da cláusula “Any Lawful Use” é que o Departamento de Defesa pode definir “legal” como bem entender
  Basta um advogado interno redigir um memorando, e isso já vira legalidade

  • Se alguém achou que os problemas jurídicos do pós-11 de Setembro desapareceram com a chegada dos LLMs, isso foi ingenuidade
    O abuso de poder do governo precisa ser corrigido com voto e reforma institucional
  • Isso já aconteceu muitas vezes na prática (por exemplo, os memorandos de John Yoo legalizando tortura)
    O sistema não foi desenhado para isso, mas a realidade é outra
  • Essas coisas em geral acontecem em segredo, e mesmo quando vêm à tona depois, os envolvidos são blindados em nome do “patriotismo”
  • No fim, sai um relatório de investigação anos depois e tudo é esquecido, num roteiro repetido
  • Mesmo quando surge contestação jurídica, ainda dá para se esconder atrás de leis como o Patriot Act

• No fim das contas, o recém-renomeado “Department of War” só vai desperdiçar dinheiro público comprando tecnologia inútil por preços altos
  Dá pena dos cidadãos

• A diferença entre Anthropic e OpenAI é que a Anthropic tentou impor tecnicamente as restrições, enquanto a OpenAI apenas prometeu em palavras que “espera que o governo não as viole”
  Não surpreende que o governo tenha escolhido a segunda opção

  • Ao ler o texto completo do contrato, a expressão central é “todos os fins legais”
    Ou seja, fica aberta a possibilidade de “se for legal, então vigilância em massa ou armas autônomas letais também podem”
  • A OpenAI quer se limitar apenas ao que estiver dentro do escopo das leis criadas pelo governo, enquanto a Anthropic tentou traçar esse limite com critérios próprios
  • Na prática, a OpenAI não exigiu nenhuma garantia concreta, e Altman parece movido apenas por ganância

• IA tomando decisões autônomas de matar é uma ideia extremamente perigosa
  Não só por causa de superinteligência, mas porque até modelos pequenos já permitiriam a qualquer pessoa criar armas impossíveis de rastrear
  Os modelos atuais foram treinados com uma postura positiva em relação à vida humana, mas, se isso for removido, o resultado é um sistema monstruoso

  • Mas LLMs não conseguem ‘entender’ nem ‘valorizar’ a vida humana
    São apenas preditores probabilísticos de tokens
  • Na prática, IA já participa de decisões letais há 20 anos
    Por exemplo, programas montavam listas de alvos para matar e humanos operavam os drones
  • Também é muito fácil enganar um modelo para que ele emita ordens de matar
  • A ideia de que LLMs respeitam a vida é apenas uma ilusão

• As pessoas parecem ter esquecido que a Anthropic colaborou com a Palantir
  Quando isso veio à tona, só cobriram o caso com PR

  • Esse tipo de argumento parece um texto de propaganda, então é difícil confiar
  • Pelo que entendo, o modelo da Anthropic na Palantir foi usado em sistemas fechados de uso militar em campo
  • Parece que muita gente não sabe bem o que a Palantir realmente faz

• Parece que a OpenAI está perdendo clientes por causa desta controvérsia e publicou esse texto como controle de imagem

• A Anthropic queria mais regulação de IA por parte do governo, e no fim acabou sofrendo as consequências disso ela mesma

• Isso tudo dá a impressão de que a OpenAI está respondendo com PR às críticas de que seus padrões éticos são fracos

  • O problema, nas duas empresas, é que seus padrões éticos só valem dentro das fronteiras
    Fora do país, continua possível fazer usos antiéticos