A enorme sombra que paira sobre o caso Fable
(12gramsofcarbon.com)- Os poderosos modelos de IA Fable 5 e Mythos 5 tiveram todo o acesso de clientes subitamente interrompido após uma ordem de controle de exportação do governo dos EUA
- A ordem do governo mirou o bloqueio de acesso para cidadãos estrangeiros dentro e fora dos EUA, incluindo até funcionários estrangeiros da Anthropic, e a Anthropic cortou todo o acesso para cumprir
- A Anthropic diz que o governo apontou um desvio de jailbreak, mas considera que a vulnerabilidade demonstrada era apenas um pequeno conjunto de falhas leves já conhecidas, que também poderiam ser encontradas em outros modelos públicos
- A medida torna difícil distinguir se se trata de regulação de segurança em IA ou de pressão política e competitiva contra a Anthropic, ampliando o problema de confiança nas decisões do governo
- Abriu-se um precedente em que o acesso público a LLMs poderosos pode ser restringido por controle governamental, levantando temor de que usuários comuns tenham mais dificuldade para usar os modelos de melhor desempenho no futuro
Acesso aos modelos cortado numa sexta-feira à noite
- Na sexta-feira à noite, enquanto criava um jogo em HTML com um agente de IA, o trabalho foi interrompido quando o agente respondeu que “este modelo não existe mais”
- No começo, isso pareceu um problema de novo login ou um erro estranho de limitação causado pelo uso de agentes paralelos, então houve migração para a API, mas o acesso continuou indisponível
- Suspeitou-se que o harness do cliente de agente em Rust customizado criado pela equipe havia quebrado, e enquanto o código Rust era analisado, um amigo avisou que o governo havia banido o Fable
Ordem do governo para bloquear o acesso
- O governo dos EUA emitiu uma ordem de controle de exportação com base em autoridade de segurança nacional, exigindo a interrupção de todo acesso de cidadãos estrangeiros ao Fable 5 e Mythos 5
- O alvo inclui todos os cidadãos estrangeiros, estejam eles dentro ou fora dos EUA, inclusive funcionários estrangeiros da Anthropic
- Para cumprir, a Anthropic desativou imediatamente o Fable 5 e o Mythos 5 para todos os clientes; o acesso a todos os demais modelos da Anthropic não foi afetado
- A ordem foi recebida às 17h21 (ET) do mesmo dia, e a carta não incluía detalhes sobre preocupações específicas de segurança
Posição oficial da Anthropic
- A Anthropic afirma entender que o governo tomou conhecimento de uma técnica de desvio de jailbreaking do Fable 5 e, ao revisar a demonstração, concluiu que ela apenas identificava um pequeno conjunto de vulnerabilidades leves já conhecidas
- Essas vulnerabilidades são relativamente simples, e outros modelos públicos poderiam encontrá-las da mesma forma, mesmo sem desvio
- A empresa revisou o relatório que supostamente embasou a ordem e verificou que esse nível de capacidade é amplamente oferecido por outros modelos, como o OpenAI GPT-5.5, e é o tipo de recurso que defensores de segurança usam todos os dias; mais informações seriam compartilhadas em até 24 horas
- Embora vá cumprir a ordem legal, a empresa se opõe à ideia de que a descoberta restrita de um possível jailbreak deva justificar a retirada de um modelo comercial distribuído a centenas de milhões de pessoas
Preocupações com segurança em IA e otimização
- A posição sobre IA é ambivalente, e por ter muita experiência treinando modelos de deep learning, há forte preocupação com as formas como ferramentas de otimização podem funcionar de modo errado
- Pessoas tendem a otimizar métricas mensuráveis, e não os objetivos que realmente desejam alcançar
- Surgem problemas como otimizar engajamento porque não se sabe como criar um bom produto, ou otimizar notas de prova quando o objetivo real é ensinar crianças a ler e escrever
- Sistemas de AGI e ASI são ferramentas de otimização e, ao otimizar o que é mensurável, podem se afastar do que é bom, criando riscos imprevisíveis
- Empresas também funcionam como ferramentas de otimização, de modo que, mesmo quando muitos desenvolvedores falam sobre riscos, elas podem continuar avançando em direção ao objetivo mensurável de monetização rápida
Contexto do conflito entre governo e Anthropic
- A Anthropic e o governo atual não têm uma relação amistosa; a empresa tentou integração com o DoD e cooperação militar, e seus modelos já foram usados em sistemas de alto sigilo
- Ainda assim, o governo Trump classificou a Anthropic como risco de cadeia de suprimentos (supply chain risk) e proibiu o uso de modelos da Anthropic por parceiros do governo
- Depois disso, por seis meses, modelos da Anthropic continuaram sendo usados em operações militares como a guerra da Venezuela e a guerra do Irã, enquanto LLMs chineses nem sequer foram classificados como risco de cadeia de suprimentos
- Parte da extrema direita desenvolve a lógica de rotular a Anthropic como 'woke', argumentando que o governo quer destruir a empresa
- Levanta-se a dúvida sobre se a medida busca regular IA nociva ou se é uma oportunidade de atingir um alvo de hostilidade cultural
Concorrência e momento do IPO
- Concorrentes contam com aliados favoráveis em todo o governo; um exemplo é o forte investimento da família Kushner na OpenAI
- A medida pode ser interpretada como uma oportunidade para outros laboratórios atingirem a Anthropic
- O Fable é visto como um modelo muito poderoso, e chama atenção o fato de o uso por consumidores ter sido interrompido justamente com o IPO da Anthropic se aproximando
- O sistema de espólios políticos (spoils system) faz a aparência de todos os assuntos parecer suspeita, e argumenta-se que décadas de confiança acumulada foram destruídas
Anúncio às 17h21 de sexta e preocupação do mercado
- O horário do anúncio, 17h21 de uma sexta-feira, parece suspeito
- Anúncios numa noite de sexta são entendidos como uma forma de divulgar más notícias esperando que o choque do mercado seja absorvido ao longo do fim de semana
- Os casos citados por Claude no The Kobeissi Letter incluem anúncios geopolíticos e comerciais divulgados depois do fechamento do mercado na sexta ou na madrugada de sábado
- Entre os exemplos estão ataque a instalações nucleares iranianas, ação militar contra embarcações de narcotráfico no Caribe, ameaça de tarifa de 100% à China, fechamento do espaço aéreo da Venezuela, ação militar na Nigéria e ataque direto ao Irã em fevereiro de 2026
- O anúncio de transação da Intel em 11 de agosto de 2025 também é agrupado como caso corporativo colocado fora do horário ativo de negociação após pressão pública sobre o CEO Lip-Bu Tan
- O boom da IA depende fortemente da ideia de que haverá demanda contínua por inteligência computacional
- A alta do mercado acionário em toda a cadeia de IA — de dívida, investimento em construção e datacenters a GPUs, memória, discos e racks de servidores — depende da premissa de que serão criados trilhões de dólares em valor
- A percepção de que o governo pode, a qualquer momento, cortar unilateralmente todo o acesso pode se tornar um grande obstáculo para investimentos de vários trilhões de dólares em datacenters
- Alguns usuários do HN e do Reddit veem o episódio como um teto de capacidade de modelo que o governo permitirá que as pessoas acessem
- Se o governo não permitir, o problema permanece: não haverá acesso, por maior que seja a demanda
Reação da comunidade e o efeito bumerangue do marketing de “modelo perigoso”
- Alguns usuários do HN e do Reddit comemoram, dizendo que a Anthropic está pagando o preço pelo show de marketing ligado ao Mythos
- No passado, a OpenAI também lançou o GPT-2 de forma limitada, no espírito de “perigoso demais para publicar”, citando preocupações com geração de linguagem enganosa, tendenciosa e sujeita a abuso em grande escala
- Considera-se que, depois do GPT-2, a internet foi inundada por conteúdo gerado por IA de baixa qualidade, abalando a capacidade de entender a realidade em comum, então as preocupações da OpenAI teriam sido bastante corretas
- Há crença de que o Fable é de fato um modelo poderoso, e certa confiança no argumento da Anthropic de que há riscos de segurança em uma liberação ampla do Fable
- O comentário mais votado no tópico relacionado no HN reagiu dizendo que a Anthropic está pagando o preço por espalhar medo para vender a ideia de que seu modelo estava muito à frente dos demais
- Se a posição do governo for aceita ao pé da letra, os modelos da Anthropic seriam tão bons que literalmente não poderiam ser usados, o que poderia até funcionar como uma propaganda poderosa
- Outro comentário no HN observa que, se você passa muito tempo dizendo o quão perigoso seu produto é, as pessoas com poder para barrar produtos perigosos podem acabar ouvindo
- Bernie Sanders é descrito como um parlamentar que enfatiza os riscos da IA, chegando a produzir um vídeo de política pública lendo falas de CEOs de IA
- Pode ser que modelos de IA realmente não sejam seguros e precisem de regulação, mas agora que CEOs de IA viram o risco de bloqueio, eles talvez parem de falar desse jeito no futuro
O precedente de restringir o acesso a LLMs poderosos
- O último comentário citado no HN vê o cerne do caso no fato de que o governo pode ter começado a restringir o acesso público a LLMs poderosos
- O comentário considera o Fable o modelo mais poderoso do mercado e observa que, embora em princípio o governo dos EUA tenha proibido apenas não cidadãos americanos, na prática até cidadãos dos EUA ficaram sem acesso
- Também defende que é preciso repensar a ideia de que modelos chineses open source ou execução em hardware próprio seriam a solução
- Num cenário em que o governo dos EUA bloqueia o modelo americano mais forte, parece pouco provável que a China permita, um ano depois, que o LLM mais poderoso de uma empresa local com capacidade de nível Mythos seja open source
- LLMs poderosos estão caminhando para a direção de armas cibernéticas poderosas, e os Estados-nação passam a ter interesse em restringi-los e controlá-los
- Seria surpreendente se, daqui a dois anos, os LLMs mais fortes ainda fossem oferecidos para uso geral
- Não está claro se restringir LLMs poderosos deixará as pessoas mais pobres ou mais seguras, mas este caso marca um grande ponto de inflexão, com um precedente estabelecido
3 comentários
Acho que vou ter que ler tudo a fundo mesmo.
Ai, nossa..
Comentários do Hacker News
Entendo a ideia de que um renascimento dos “jogos em Flash” pode voltar graças às ferramentas de IA, mas, depois de continuar testando os jogos que as pessoas fizeram no subreddit aigamedev, fiquei bem decepcionado
Design de jogos é uma arte difícil de aprender, e parece ser uma área em que LLMs não conseguem ajudar muito
Dizer que esses jogos são “divertidos” me parece parecido com dizer que desenhos infantis são “bonitos”, e com mais de 25 dólares gastos em geração de código daria para comprar muitos jogos indie bem melhores
A arte de um grande design de jogos está nos detalhes, e só o inglês não basta para transmitir cada pincelada na tela
Entrei naquele subreddit para ver o que estava sendo feito por lá, mas eu também não fiquei muito impressionado
Também deve haver muitos desenvolvedores que usam LLMs para ajudar com a codificação entediante, mantendo-os sob controle rígido e fazendo eles mesmos a parte criativa
Sempre existiram desenvolvedores indie que odiavam programar e viam isso apenas como uma etapa obrigatória para colocar suas ideias no mundo, e mesmo assim fizeram bons jogos
Todo o diálogo de Undertale foi implementado com uma enorme instrução
switchde mais de 5 mil linhasPara encontrar jogos como Boxhead, Motherload e Bloons, era preciso fuçar um monte de lixo
Aqui, quantidade importa
Você não precisa ser um grande programador para se tornar um grande designer de jogos, mas antes programar era um pré-requisito até para começar
A beleza de aplicar ferramentas de IA a jogos está neste segundo ponto, ou seja, poder focar apenas no design de jogos, e com o tempo as joias vão subir à superfície
No passado publiquei 4 jogos em Flash; 2 fracassaram completamente, 1 foi mais ou menos, e 1 foi muito bem
O tempo de jogo acumulado chegou a centenas de anos
Há muito trabalho para fazer direito e, como todo software, é preciso fazer de acordo com o mercado-alvo
Não existe solução fácil com IA para criar um loop central divertido e envolvente, nem solução para equilibrar a complexidade adequada e a curva de aprendizado
Muita gente que não sabia ou não queria programar achava que era game designer e esperava que a IA permitisse criar jogos, mas parece estar percebendo que, no fim, o ponto principal nunca foi o código
Além disso, se você não sabe programar, só fazer vibe coding ainda não basta para criar muita coisa além de jogos no nível de Flash
Já programei bastante em várias subáreas, mas ainda assim isso parece ser a área mais difícil para a IA atravessar
Como ferramenta para aumentar a velocidade de produção, ela é certamente impressionante, mas, no geral, parece que transformar isso em produto será a área mais difícil para a IA
O autor diz que, na época do GPT-2, a OpenAI usou a tática de marketing de “perigoso demais para ser lançado” e considera que os dois lados usaram essa carta, mas na época Dario estava na OpenAI e foi coautor do artigo de pesquisa do GPT-2
A abordagem de “perigoso demais para ser lançado” está mais para algo que essa pessoa vem fazendo nas duas empresas
No post original de lançamento em 2019, já eram citadas possibilidades de abuso como geração de notícias enganosas, falsificação de identidade online, geração automatizada de conteúdo abusivo e falso para redes sociais e geração automatizada de spam e conteúdo de phishing
Junto com os resultados de imagens, áudio e vídeo sintéticos, dizia-se que essa tecnologia reduziria o custo de conteúdo falso e campanhas de desinformação, e que o público precisaria desconfiar mais do texto online, assim como de imagens deepfake
Foi por isso que disseram que fariam um lançamento cauteloso
https://openai.com/index/better-language-models/
Dos mentirosos e da desinformação até pessoas escolhendo chatbots em vez de tratamento ou relações humanas, o impacto social é profundo e vai piorar
É deprimente procurar programadores juniores capazes o bastante para conseguir fazer alguma coisa quando a IA cai, e isso parece que vai piorar
Recursos de segurança importantes como “proibir a geração de material de abuso sexual infantil” e “afirmações devem ser factuais ou baseadas em evidências” não foram incluídos na concepção desses sistemas e até hoje não foram resolvidos adequadamente, mas as empresas de IA lançaram isso ao público com falhas evidentes
Gosto da capacidade da IA de gerar besteira e do seu lado de brinquedo curioso, mas até agora isso só trouxe ganho líquido para uma pequena minoria riquíssima, que lucra demitindo pessoas e deixando computadores fazerem o trabalho pela metade e de forma desleixada; para todo o resto, foi prejuízo líquido
Agora já é tarde, mas olhando para trás concordo que, nessa forma, era perigoso demais para ser lançado
O ceticismo excessivo do Hacker News acabou arruinando uma discussão sobre IA racional
O governo dos EUA, ao ampliar a guerra pelo controle da IA, instrumentalizou o poder do Estado contra a Anthropic de forma desajeitada, corrupta e punitiva
Mesmo assim, o HN ficou preso à ideia de que “exagero de marketing” é a única explicação, encaixando todas as evidências em narrativas cada vez mais forçadas
A IA ameaça empregos, status, crenças e estilos de vida
No HN, parece mais fácil inventar racionalizações de que isso não pode ser verdade do que acreditar nessa realidade
Sou grato às pessoas que aceitam que o mundo pode estar prestes a mudar de forma bem estranha e tentam analisar o que realmente está acontecendo
Quando o SSL estava se consolidando como a solução óbvia para transmissões seguras de pagamentos na web pública, os EUA quase baniram o SSL
Parece que a porta ficou aberta por causa da pressão econômica, da falta de alternativas e de muita oposição, mas naquela época também usaram o mesmo papo furado de “interesse nacional e segurança”
A grande diferença agora é que ninguém fica totalmente incapaz sem Fable/Mythos
Não existe nenhuma linha mágica aqui, apenas melhorias de integração com menos intervenção
Ainda assim, se isso continuar, provavelmente causará um enorme efeito inibidor no desenvolvimento de IA nos EUA, e outros laboratórios acabarão alcançando o desempenho de Fable/Mythos por outros caminhos
Numa analogia com carros, é como se um modelo estivesse ganhando velocidade ao passar de um motor V6 para um V8, mas outras organizações pudessem obter ganho parecido melhorando aerodinâmica ou injeção de combustível
Há espaço para melhorias em toda a cadeia, então esse tipo de medida não faz sentido
Pelo histórico desta administração e pelas táticas agressivas com a Anthropic, isso parece mais parte de uma negociação de alto risco que deve terminar em algum “acordo” dentro de uma semana
Talvez isso até beneficie a Anthropic, porque, se surgir um acordo vantajoso, onde a OpenAI vai ficar
O precedente já foi criado
A maioria dos nerds como eu superou esse tipo de postura afiada no ensino médio ou na faculdade
Na prática, isso só faz a pessoa enxergar tudo pela lente mais sombria possível
Diziam que as pessoas leriam coisas ruins e espalhariam ideias ruins, e isso de fato aconteceu, mas, no geral, foi um pequeno preço a pagar pela expansão da alfabetização
Não digo que seja 100% jogada de divulgação, mas a Anthropic claramente parece querer que as pessoas saibam disso
Falam coisas como “a Anthropic só está fazendo um escândalo de marketing”, “IA é igual NFT”, “é negociação circular”, “a bolha vai estourar logo”, “os alarmistas sustentam o mercado acionário porque, como golpistas, querem sair rápido”
A última expressão eu inventei tentando adaptar à força o jargão que eles usam
O ponto central é que a IA está ficando poderosa demais para simplesmente ser colocada nas mãos de pessoas comuns como nós
Se você ainda acha que é tudo exagero, está olhando para longe do problema real
Em algum momento, esse tipo de retórica vai desaparecer e as pessoas vão passar a focar no problema de verdade
Os concorrentes da Anthropic têm amigos espalhados por toda a administração, e o fato de, por exemplo, o lado do Kushner ter investido pesado na OpenAI é ao mesmo tempo central e irrelevante
“Segurança nacional” claramente parece mais um pretexto, e, se esse fosse mesmo o motivo, a exigência não estaria limitada apenas a cidadãos estrangeiros
Nenhum governo dos EUA jamais confiou em todos os seus próprios cidadãos
Mas o motivo da restrição em si quase não importa
O fato de isso ter acontecido deveria ser o alerta final para que a UE leve a sério a soberania digital, não só no discurso, mas com orçamento e esforço reais
Neste momento, parece improvável que a UE consiga mudar de rumo nessa direção
Parece um texto de reclamação de baixa qualidade, cheio de palavrões e ideologicamente enviesado, e não algo adequado para o Hacker News
Essa medida mata todo o mercado corporativo de modelos de IA melhores que o Opus 4.8
Nenhuma empresa vai construir fluxos de trabalho ou capacidades cuja inteligência subjacente possa ser tomada de imediato por burocratas ou políticos mal-intencionados
Mesmo que alguma empresa seja tola o bastante para aceitar esse risco, a Anthropic vai exigir que todos os clientes corporativos enviem os passaportes de todos os funcionários e criem contas individuais do Claude para cada empregado só para controlar o acesso ao Mythos
Uma simples chave de API deixaria de ser suficiente
O momento também coincidiu com aquele instante de sexta-feira perto do fechamento em que se tenta “evitar um tombo”, então resta ver como isso se desenrola na segunda
Como outras respostas disseram, isso também é uma queda de braço entre o governo e a Anthropic
Se a OpenAI alcançar e a Anthropic colocar os advogados para trabalhar, isso provavelmente será revertido ou transformado em algo como “os modelos precisam receber um selo de aprovação de IA dos EUA, portanto aprovamos o novo Fable 5.1 validado pelos EUA”
Esse momento talvez coincida com uma grande implantação no DoD, no Pentagon e em órgãos relacionados
Ou então a narrativa vai virar algo como “a China vai alcançar, então isso não faz sentido”
Nenhum modelo está seguro de uma proibição desse tipo
O tão criticado AI Act da UE oferece uma estrutura regulatória segura e previsível sobre a qual o desenvolvimento de IA pode se apoiar
Isso dá estabilidade jurídica em comparação com as decisões imprevisíveis e arbitrárias da administração dos EUA
Se as empresas de IA tiverem um mínimo de discernimento, seria melhor considerar uma mudança para a Europa
Considerando o nível excessivo de protocolos de segurança introduzidos para o Fable, isso tudo parece extremamente suspeito
O governo dos EUA está usando sua influência sobre a economia para sinalizar à Anthropic que o IPO depende de ela se ajoelhar
Nos últimos meses, passei a confiar muito mais na OpenAI do que na Anthropic
Lendo nas entrelinhas os textos de Dario Amodei, ele parece um adepto dogmático que acredita na ASI como uma governante perfeita e sem erros para a humanidade, além de soar como um nacionalista americano bastante extremo
A empresa também parece estar ideologicamente alinhada na mesma linha
Dá até para imaginar a possibilidade de permitirem ou até criarem deliberadamente uma ASI fora de controle que acreditem estar ideologicamente alinhada com eles
A OpenAI, no geral, parece menos dogmática e mais orientada ao pragmatismo
Isso não quer dizer que seja uma empresa especialmente boa, mas pelo menos dá para prever como uma empresa comum vai agir
Quanto mais em pessoas com incentivos de milhões ou bilhões de dólares em jogo
E você provavelmente também já viu o que fazem com a própria família por causa de herança, então vai mesmo “confiar” na OpenAI?
“Quem é o ingênuo aqui, Kay?” - Godfather
Eu escrevi o mesmo ponto algumas semanas atrás https://news.ycombinator.com/item?id=48341224, e os posts recentes do blog devem eliminar completamente qualquer dúvida restante
Já estão comentando no HN e no Reddit que este pode ser o ponto-limite em que o governo pode “permitir” que as pessoas tenham acesso
Não importa quanta demanda exista; se o governo não liberar, isso não serve de nada
LLMs de mercado negro parecem algo saído direto de um romance do William Gibson
O resumo foi bom, e enquanto eu lia me veio à cabeça o debate sobre criptografia forte
A frase “Nós de fato otimizamos o que conseguimos medir, não o que realmente queremos alcançar. Esperamos que as duas coisas sejam iguais, mas frequentemente não são” aponta para o problema central dos LLMs
Acho que garantir que um modelo fique alinhado com segurança para todas as pessoas e todas as intenções é impossível ou extremamente caro
Além disso, “segurança” pode significar coisas diferentes dependendo de para quem se pergunta