- Modelos de pesos abertos sem capacidades perigosas são bens públicos que oferecem valor a empresas, desenvolvedores e pesquisadores, e a Anthropic se opõe à proibição dessa categoria como um todo
- A principal preocupação de segurança nacional não é o modo de divulgação em si, mas a superioridade em IA de governos autoritários, ataques cibernéticos e biológicos usando modelos poderosos e problemas de alinhamento
- Pesos abertos dificultam a aplicação de salvaguardas e o monitoramento de uso, e não podem ser recolhidos após a distribuição, o que pode aumentar os riscos; ainda assim, proibir o uso por empresas dos EUA dificilmente impediria agentes mal-intencionados
- Como alternativas, a Anthropic apoia o bloqueio da exportação de chips de alto desempenho e equipamentos de fabricação para a China, a repressão à destilação em escala industrial e testes obrigatórios de segurança baseados em capacidades que abranjam modelos abertos e fechados
- Não se deve pressupor de antemão que pesos abertos favorecem os defensores; os riscos, incluindo a assimetria entre atacantes e defensores na biologia, devem ser avaliados por testes empíricos antes do lançamento
Por que se opor a uma proibição total de pesos abertos
- Após notícias de que alguns funcionários dos EUA estariam considerando proibir empresas americanas de usar modelos chineses de pesos abertos, várias empresas de tecnologia assinaram uma carta aberta em apoio aos pesos abertos
- A Anthropic rejeita a crítica de que deseja uma proibição para proteger seus negócios e afirma que nunca defendeu proibir toda a categoria de modelos de pesos abertos
- Modelos de pesos abertos sem capacidades perigosas são bens públicos que oferecem valor a empresas, desenvolvedores e pesquisadores sem custo adicional além da computação necessária para executá-los
- Proibições protecionistas podem acabar apenas protegendo empresas americanas de IA da concorrência, sem resolver as principais ameaças à segurança nacional
Duas ameaças à segurança nacional
-
Superioridade em IA de governos autoritários
- A maior preocupação é um cenário em que governos autoritários, incluindo o Partido Comunista Chinês (PCC), desenvolvam modelos de IA mais poderosos que os dos EUA e os usem para garantir uma vantagem militar permanente ou para reprimir seus próprios cidadãos de forma extrema
- O Partido Comunista Chinês não é a única ameaça, mas é avaliado como a mais forte entre os governos autoritários
- O governo dos EUA também se preocupa com esse mesmo problema
- O vice-presidente Vance alertou que regimes autoritários roubaram e usaram IA para fortalecer suas capacidades militares, de inteligência e de vigilância
- A Avaliação Anual de Ameaças de 2026 conclui que o avanço em IA de outras grandes potências ameaça a competitividade econômica e a vantagem de segurança nacional dos EUA
- Nessa ameaça, não importa se o modelo é de pesos abertos nem se é usado por empresas americanas
- Os modelos mais perigosos podem ser aqueles treinados em segredo e disponibilizados apenas para drones do Exército de Libertação Popular ou para vigilância e repressão pelo Ministério da Segurança do Estado
-
Ataques cibernéticos e biológicos e problemas de alinhamento
- A segunda preocupação é um cenário em que modelos de IA poderosos sejam usados indevidamente em ataques cibernéticos e biológicos ou causem problemas graves de alinhamento
- Independentemente do país de origem, modelos de pesos abertos podem representar riscos potenciais maiores que modelos fechados
- Em pesos abertos, é muito difícil aplicar salvaguardas ou monitorar padrões de uso
- Quando os pesos são publicados, não é possível recolhê-los, e as salvaguardas também podem ser removidas
- Também é possível baixar cópias, redistribuí-las ou executá-las em sistemas privados que não podem ser monitorados
- Um relatório do UK AI Security Institute avalia que a publicação de modelos de pesos abertos com capacidades perigosas cria um risco contínuo e irreversível de uso indevido
- Como empresas americanas legítimas provavelmente não são agentes mal-intencionados, proibir empresas dos EUA de usar modelos não impediria diretamente esses riscos
Controle de chips de alto desempenho e equipamentos de fabricação
- É preciso não vender chips de alto desempenho e equipamentos de fabricação de chips para a China, além de reprimir o contrabando e as rotas de contorno usadas para obter chips
- A capacidade doméstica de produção da China é limitada e, segundo as leis de escala, a avaliação é que ela não consegue criar modelos mais poderosos que os dos EUA sem chips americanos
- O controle de chips bloqueia de forma mais eficiente e direta a primeira ameaça: governos autoritários criarem modelos mais poderosos que os dos EUA
- Ao dificultar o treinamento de modelos poderosos fora do alcance da legislação dos EUA, também pode reduzir indiretamente os riscos de ataques cibernéticos e biológicos e de alinhamento
- O Departamento de Justiça dos EUA divulgou vários casos de tentativas de exportar ilegalmente ou contrabandear tecnologias avançadas de IA para a China, e a Anthropic pede maior repressão a esse contrabando e a meios de contorno
Repressão à destilação em escala industrial
- A destilação de modelos é mais eficiente em computação do que treinar modelos do zero, permitindo à China criar modelos melhores do que seria possível com a quantidade de chips que possui e contornar parcialmente os controles de chips
- A destilação por si só não permite que o Partido Comunista Chinês obtenha capacidades de IA equivalentes ou superiores às dos EUA, mas pode elevar os modelos de fronteira da China a um nível apenas alguns meses atrás dos modelos americanos
- Mesmo que muitas empresas de destilação publiquem modelos de pesos abertos, o ponto central não é o modo de divulgação, mas o fato de um Estado autoritário que busca ultrapassar a fronteira americana estar apoiando operações em escala industrial
- Em vez de uma proibição total de pesos abertos, são necessários arcabouços direcionados de políticas, leis e práticas comerciais para conter a destilação
- A Anthropic também identifica e bloqueia contas que usam seus modelos para destilação em larga escala
- Às vezes, as contas envolvidas só são encontradas depois que uma destilação significativa já ocorreu
- Muitas contas falsas continuam sendo criadas, de modo que os alvos da fiscalização mudam constantemente
- Como medidas de empresas individuais não bastam para resolver o problema, é necessária intervenção de política pública
Testes obrigatórios de segurança baseados em capacidades
- Todos os modelos suficientemente poderosos, sejam abertos ou fechados e independentemente do país de origem, devem passar por testes de riscos cibernéticos, biológicos e de alinhamento antes do lançamento
- O governo Trump avançou recentemente nessa direção, e uma proposta do setor também inclui a aplicação dos mesmos testes aos modelos mais poderosos
- Modelos de baixa capacidade desenvolvidos por startups e pela academia podem ser totalmente excluídos dos testes obrigatórios
- Se o risco de modelos abertos é de fato maior, e se esse risco pode ser mitigado, deve ser julgado pelos resultados dos testes, sem conclusões prévias
- Também existem métodos com potencial de aumentar a segurança de modelos de pesos abertos, como a pesquisa de estratégia de treinamento modular da Anthropic
- Testes de segurança eficazes exigem aplicação internacional, portanto a participação do Partido Comunista Chinês também é necessária
- Como prevenir armas biológicas de IA também pode beneficiar a China, considera-se possível uma cooperação limitada nessa área
Diferenças em relação à carta aberta sobre pesos abertos
- A Anthropic concorda com parte da carta aberta sobre pesos abertos e liderança americana em IA
- Pesos abertos ampliam o acesso à economia de IA
- Fortalecem a concorrência em alguns casos de uso
- Dão aos clientes maior controle
- O problema da destilação deve ser tratado por arcabouços legais e comerciais direcionados, não por uma proibição total
- No entanto, a Anthropic não concorda com a premissa de que pesos abertos necessariamente facilitam o desenvolvimento de salvaguardas, ou de que o acesso amplo a capacidades favorece os defensores mais do que os atacantes
- Na prática, o acesso amplo pode favorecer mais os atacantes, portanto é preciso verificar empiricamente qual lado tem vantagem
Assimetria entre atacantes e defensores na biologia
- Modelos suficientemente poderosos podem rapidamente transformar vírus em nível pandêmico em armas usando materiais amplamente disponíveis, enquanto a defesa contra isso pode ser uma tarefa operacional que levaria anos mesmo no melhor cenário
- Como no caso da Operation Warp Speed, é necessário muito tempo para preparar tecnologias e sistemas de resposta, de modo que pode haver uma forte vantagem do atacante na biologia
- Atualmente, considera-se que o fator que impede catástrofes biológicas não é uma limitação dos defensores ou dos materiais, mas a correlação negativa entre capacidade intelectual e intenção de causar danos catastróficos
- Tecnologias anteriores, como buscas na internet ou síntese de DNA, não foram poderosas o bastante para romper essa correlação, mas há preocupação de que a IA, no ritmo atual de avanço, possa em breve destruí-la
- Se uma tecnologia suficientemente poderosa remover todas as barreiras, ficará evidente se há uma vantagem estrutural dos atacantes ou dos defensores; na biologia, os atacantes podem prevalecer
- Esses riscos devem ser avaliados por testes rigorosos antes do lançamento, não por estimativas ou preconceitos sobre o modo de divulgação
Políticas defendidas pela Anthropic
- Não proibir modelos de pesos abertos como uma categoria única
- Reforçar controles de exportação e contrabando para impedir que governos autoritários obtenham chips de alto desempenho e equipamentos de fabricação
- Bloquear a destilação de modelos em escala industrial por meios legais, comerciais e de política pública
- Tornar obrigatórios testes de riscos cibernéticos, biológicos e de alinhamento para todos os modelos abertos e fechados com capacidades suficientes
3 comentários
Quando acabar de usar os tokens que comprei, acho que não vou voltar a ver isso. Adiós.
É realmente impressionante apoiar o open source enquanto faz lobby por trás; dá até a sensação de que, se a Anthropic alcançar a AGI, vai acabar virando uma Arasaka.
Opiniões do Hacker News
Dizer que “todos os modelos com capacidade suficiente devem passar por verificações obrigatórias de segurança” é, na prática, o mesmo que defender uma proibição de modelos open weight
Quem faria a verificação, e o que acontece se o custo for proibitivamente alto ou se o administrador recusar determinados participantes? Os EUA já proibiram produtos no passado ao tornar obrigatório um selo de certificação e depois se recusar a emiti-lo
O impacto econômico seria grande, mas o efeito em segurança parece mínimo. O argumento mais convincente seria que restringir o uso de modelos open weight nos EUA poderia reduzir incidentes como os ataques recentes ao Hugging Face, mas seria difícil para o governo aplicar de fato esses requisitos de verificação
É praticamente impossível que modelos open weight atendam aos mesmos padrões de segurança de modelos oferecidos via API, e os criadores não conseguiriam cumprir isso mesmo que quisessem. Bloqueio de IP e controles de exportação podem limitar acesso e capacidade de inferência, mas não são eficazes para dissuadir agentes maliciosos
Se um modelo “nível Mythos” é tão perigoso assim, seria melhor fazê-lo corrigir o código de todo mundo. Empresas e serviços de software no mundo todo, além de projetos livres e open source ativos, devem somar no máximo alguns milhões a dezenas de milhões; então daria para conceder a todos US$ 100 em créditos Fable/Mythos para que cada um corrija seu próprio código
Com US$ 100 milhões a US$ 1 bilhão, a Anthropic poderia realizar a maior campanha publicitária da história da humanidade e, ao mesmo tempo, fortalecer a segurança do mundo inteiro. A maioria das pessoas não é maliciosa, e engenheiros, consultores, fundadores, donos de empresas e mantenedores provavelmente tentariam usar o Mythos para corrigir o próprio código
Trancar essa capacidade atrás de portões de permissão e portas fechadas causa mais dano no longo prazo e cria um mundo assimétrico em que quem tem acesso decide quem pode estar seguro. Se todos tiverem o Mythos, ninguém terá um “Mythos” exclusivo; então é melhor simplesmente deixar as pessoas corrigirem o código
Modelos recentes usam apenas verificações internas ou avaliadores externos fechados, como a Gray Swan, que dependem dessas duas empresas para todo o seu negócio; essas empresas também compartilham entre si o mesmo grupo de pesquisadores
A China é tratada como uma China de Schrödinger: por um lado, uma ameaça que usaria IA para fins malignos; por outro, um país que cooperaria com os EUA, seu concorrente, para impedir que outros atores não identificados atinjam o mesmo objetivo
A realidade é simples. O CEO da Anthropic não quer que modelos parecidos ou melhores que os modelos fechados e caros da sua empresa sejam amplamente distribuídos e prejudiquem sua receita
O único ativo especial da Anthropic e de outras empresas de modelos é o acesso privilegiado a chips, então é natural que tentem limitar quais modelos surgem e quem pode criar novos modelos. Sem regulação, é questão de tempo até avaliações empresariais de centenas de bilhões de dólares desaparecerem
Eu teria respeitado mais se tivessem ficado em silêncio. Mesmo sendo óbvio que modelos abertos podem gerar concorrência intensa ou destruir sua base de receita, eles emolduram como superioridade moral uma tentativa de monopolizar o poder sobre todo trabalho humano
Acho que foi uma excelente escolha, alinhada ao interesse da China, ter publicado inovações de IA como open source para conter a bolha de IA ou fazê-la estourar mais cedo
No primeiro parágrafo ele diz que proibições não são úteis, mas depois afirma que é preciso reprimir o contrabando e as rotas alternativas para a China obter chips
A crença de que proibições não funcionam deveria se aplicar igualmente a hardware
As três medidas que Dario apoia são proibir vendas de chips para a China, reprimir destilação e exigir verificações obrigatórias de segurança para todos os modelos de alto desempenho; coincidentemente, todas beneficiam comercialmente a Anthropic. Seria muito mais convincente se a Anthropic tivesse lançado sequer um modelo open weight
Até ontem, alguém que não se importava com a possibilidade de sua tecnologia ser usada para bombardear escolas femininas em outro país agora de repente se preocupa com a opressão dos cidadãos de mais um país
É difícil acreditar nesse sinalização moral ou nesses sermões de superioridade sobre o “cenário de pesadelo” do ano
Ele é pró-Israel, mas nunca tratou do risco de o governo israelense usar IA para controlar e oprimir cidadãos de outros países, e também coopera ativamente com a Palantir, que tem como objetivos explícitos controle populacional, repressão e construção de um Estado de vigilância
A Coreia do Norte, o país mais repressivo do mundo, faz isso mesmo sem IA. Se você dissesse a chineses que, na concepção de Dario, a DeepSeek ou a Kimi os oprime, é provável que eles rissem
Não me lembro de uma empresa ter caído tão rápido de uma galinha dos ovos de ouro para um estado indefinido
A postura defensiva constante por trás das declarações de Dario acabou até com a vontade de confiar nos produtos da Anthropic ou depender deles. Nem dá para entender quem ele queria convencer com esse texto, e parece que a Anthropic precisa se reorganizar
É uma postura ambígua para apaziguar todos que assumiram posições mais claras, mas o resultado é bastante ruim
É como dizer que o malvado Partido Comunista Chinês é uma grande ameaça à paz mundial e ao bem, então, em nome de uma ordem internacional baseada em regras na qual as forças do bem prosperem e biólogos de tartarugas corruptos sejam eliminados, devemos entregar todo o dinheiro e todos os dados de tokens de entrada à Palantir
https://www.theguardian.com/world/2026/jun/20/mona-khalil-tu...
A lógica, no fim, é: “esta tecnologia é perigosa demais, então só nós devemos ter acesso a ela; e, como estamos do lado do bem, podemos garantir seu uso seguro”
Então, quem vigia os vigilantes?
Se você apoia a disseminação total de modelos abertos, o que fazer com modelos de pesos abertos que contenham capacidades de armas biológicas e de ataques cibernéticos?
Devemos aceitar permitir essas ferramentas a atacantes como o preço da liberdade? O caso OpenAI/Hugging Face mostrou as capacidades de um modelo sem restrições no nível do GPT 5.6 e, em cerca de seis meses, modelos de pesos abertos também chegarão a esse nível, permitindo que todos os agentes mal-intencionados conduzam ataques da mesma escala
Preferir abertura é razoável, mas ser incondicionalmente a favor em todas as situações sem pensar seriamente nas consequências é ingênuo demais
A Hugging Face não tinha acesso a modelos de ponta com capacidades cibernéticas e era continuamente bloqueada por salvaguardas; só conseguiu sobreviver ao ataque depois de usar o GLM-5.2 open source. Se modelos open source forem proibidos, organizações que não estejam na lista de permissões da OpenAI ou da Anthropic não conseguirão garantir sua cibersegurança
Haverá um período doloroso de risco em que códigos que passaram mais de 30 anos sem esse tipo de análise serão de repente revisados por capacidades equivalentes a um milhão de “taviso”, mas desenvolvedores e defensores também poderão usar as mesmas ferramentas. Mesmo com a assimetria de custos mais altos para a defesa, será uma corrida armamentista que se estabiliza; no fim, a verificação formal de propriedades de segurança provavelmente se expandirá, e os mesmos modelos continuarão reduzindo esse custo
Destilação e modelos de pesos abertos não vão desaparecer, e quase não há como proibi-los ou controlá-los de maneira eficaz. Também podem surgir ferramentas self-service que permitam a não especialistas destilar e manter diretamente seus próprios modelos de ponta com capacidades de segurança da informação
Para defensores, o melhor é agir partindo desse pressuposto; mesmo que se discuta permitir ou não, não surgirá nesse intervalo um sistema global de fiscalização
Não importa muito se são abertas ou fechadas; mesmo que as salvaguardas atuais tendam a falsos positivos, modelos fechados já podem causar danos cibernéticos consideráveis
O único controle eficaz é nivelar o campo de jogo, garantindo que atacantes e defensores tenham acesso às mesmas capacidades. Se forem criados portões como os propostos por Dario, que atacantes contornam mas defensores não conseguem atravessar, o caos estará garantido
O que Dario continua deixando passar é que as pessoas já não confiam mais que os EUA construirão uma IA alinhada
Toda a estratégia dele se apoia na premissa de que os EUA e o governo americano são excepcionalmente bons, mas, para o restante do mundo, isso parece obviamente falso
Segundo ele, as regras de segurança e moralidade do mundo inteiro devem ser escritas apenas pelos EUA; na mesma entrevista, ao apoiar a política externa americana, chamou a China de um “regime agressivo e belicoso”
Cada vez mais americanos também veem isso como falso, mas, como a oligarquia é a maior beneficiária das políticas do governo americano, a propaganda continuará
Entendo a lógica de a Anthropic continuar acelerando o desenvolvimento enquanto pede pausa e regulação, e também que haja motivos para indivíduos continuarem trabalhando em empresas de IA mesmo querendo desaceleração
Mas, se todos pensarem assim, a competição continuará se intensificando enquanto esperam por um acordo que talvez nunca surja, nada mudará, e os incentivos econômicos justificarão que todos os participantes continuem
Espero ver ações mais concretas vindas de dentro. Quando o julgamento fica complexo demais, basta voltar aos princípios básicos. Se você acredita que a IA está avançando rápido demais, pare de desenvolvê-la; se uma empresa de IA quer uma pausa, deve parar primeiro e dar o exemplo
Outras empresas talvez a sigam, e as que não seguirem parecerão irresponsáveis. Quem decidiu não pecar mais deve ser o primeiro a largar a pedra