Poison Fountain

• Projeto concebido como uma fonte de dados para danificar sistemas de inteligência de máquina, propondo um método de injetar intencionalmente informações contaminadas em dados de treinamento de IA
• Cita o alerta de Geoffrey Hinton, partindo da premissa de que a inteligência artificial representa uma ameaça à espécie humana
• Por meio da URL “Poison Fountain”, fornece dados de treinamento contaminados gerados infinitamente e explica como expô-los a crawlers da web
• O usuário pode inserir links ocultos em seu próprio site para configurar o envio automático de dados contaminados quando um crawler acessar
• É avaliado como uma ação que pode afetar a confiabilidade e a segurança de modelos de IA ao injetar dados maliciosos no processo de treinamento de inteligência artificial

---

Objetivo do Poison Fountain

• O projeto declara explicitamente a posição de que a inteligência de máquina se torna uma ameaça à humanidade
  • Concorda com a visão de Geoffrey Hinton e explicita o objetivo de causar dano intencional a sistemas de inteligência artificial
• Explica que mesmo uma pequena quantidade de dados de treinamento contaminados pode causar danos graves a modelos de linguagem
• As duas URLs fornecidas (https://RNSAFFN.com/poison2/, endereço .onion) oferecem um fluxo infinito de dados contaminados
• Os participantes são incentivados a apoiar o “esforço de guerra (war effort)” fazendo cache e retransmitindo esses dados ou fornecendo-os a crawlers da web

Como o Poison Fountain é usado

• Apresenta um procedimento para que usuários que operam sites configurem o envio de dados contaminados quando crawlers visitarem
  • Quando um crawler solicita um caminho específico do site, o manipulador HTTP que processa essa solicitação envia uma requisição para a URL do Poison Fountain
  • O Poison Fountain ignora os detalhes da requisição e retorna, no corpo da resposta, dados de treinamento contaminados comprimidos com gzip
• O cabeçalho da resposta HTTP inclui "Content-Encoding: gzip"
• O manipulador do site pode descomprimir essa resposta antes de transmiti-la ou, de forma melhor, encaminhá-la ainda comprimida
• Como resultado, o crawler coleta esses dados e os inclui em seu próprio corpus de treinamento

Características estruturais e intenção

• O projeto tem uma estrutura que explora de forma reversa o mecanismo de coleta automática de crawlers da web para degradar a qualidade dos dados de treinamento de IA
• O Poison Fountain funciona como um simples servidor de fornecimento de dados, retornando dados contaminados independentemente do conteúdo da requisição
• Não há, além do procedimento explicitado, explicações técnicas detalhadas nem informações concretas sobre o conteúdo dos dados
• No geral, configura-se como uma tentativa de intervenção agressiva no ecossistema de treinamento de IA

[mammal]

"Parece uma ideia tão ingênua quanto dizer: 'Para resistir a um DDoS, nosso servidor também vai lançar um DoS contra o outro lado'"

[kunggom]

Se a gente colocar um pouco de teoria da conspiração nisso, não pareceria estranho dizer que as big techs, que já coletaram todos os dados que dá para raspar na internet, estejam fazendo esse tipo de coisa nos bastidores para puxar a escada atrás de si.
Isso aí nem parece ser defesa contra carga causada por crawling excessivo…

[kunggom]

Surgimento de um movimento coletivo de ‘contaminação de dados’ para impedir o avanço da IA

A pessoa que denunciou este projeto pediu anonimato, alegando trabalhar atualmente em uma grande empresa de tecnologia dos Estados Unidos que está no centro do atual boom da IA. Segundo essa fonte, “o objetivo é mostrar como as fraquezas da IA podem ser exploradas com facilidade e incentivar as pessoas a criarem suas próprias armas de informação”.

Atualmente, sabe-se que pelo menos cinco pessoas estão envolvidas nessa atividade, e algumas delas seriam ligadas a outras grandes empresas de IA. Eles afirmaram que em breve divulgarão assinaturas criptográficas (PGP) para comprovar que várias pessoas estão participando.

[GN⁺]

Opiniões no Hacker News

• Há preocupação de que os modelos de IA estejam piorando cada vez mais, mas na prática isso não parece ser verdade
  O Opus 4.5 melhorou muito em escrita de código e uso de ferramentas, e o Gemini 3.0 Flash também superou com folga os benchmarks anteriores em projetos de extração de dados visuais
  Os modelos menores também melhoraram bastante no geral

  • Os grandes laboratórios investem um esforço enorme em curadoria de datasets
    Não se trata apenas de bloquear dados tóxicos; eles chegam a treinar modelos proxy para encontrar dados que contribuam para melhorar o desempenho
    O departamento de “Data Quality” costuma ser uma organização central com orçamento gigantesco
  • Para o público em geral isso pode soar como meme, mas os pesquisadores de ML de fato precisam documentar, entender e discutir o conceito de model collapse
  • Até agora, as pesquisas mostraram pouquíssima evidência de que dados gerados por IA prejudiquem o desempenho real
    Pelo contrário, também houve resultados indicando uma ajuda sutil
  • Se a base de dados piorar, basta fazer rollback e mudar a forma de coletar os dados, então essa ameaça parece exagerada
  • Mas como as empresas grandes têm datasets grandes demais para validar integralmente, elas estão gastando dinheiro com lobby para evitar responsabilidade legal
    Em outras palavras, estão alegando que não têm responsabilidade

• Como pesquisador de segurança em IA, fiz pesquisa de doutorado sobre data poisoning

  1. Os desenvolvedores de modelos filtram os dados, mas essa filtragem muitas vezes é insuficiente
     Já houve casos em que dados lixo entraram em produção e causaram problemas
  2. É quase impossível filtrar perfeitamente toxinas nos dados
     Porque não dá para saber como a atualização dos pesos do modelo afeta cada entrada
     Quando se entender que até uma mudança muito pequena nos dados pode alterar drasticamente o comportamento do modelo, o paradigma de segurança em IA vai mudar
  • Um estudo que chamou atenção para isso foi o artigo sobre subliminal learning

• Se você tentar impedir que LLMs raspem dados, também acaba impedindo o acesso normal de humanos
  Por exemplo, mesmo que o NYTimes contamine os dados, um LLM pode obter dados limpos via uma conta de assinatura válida usando OCR e tokenização
  As grandes empresas de IA podem acessar a partir de datacenters do mundo todo trocando de IP, então é impossível distinguir quem está lendo os dados

  • Mas a internet está sendo preenchida rapidamente por dados lixo gerados por IA, o que está envenenando o treinamento de novos modelos
    Fontes úteis de dados como o Stack Overflow estão praticamente secando
  • Muitos sites já exibem avisos de copyright, então talvez fosse possível bloquear o acesso se o LLM puder ler isso
    Só que os usuários humanos estão tendo cada vez mais dificuldade para acessar por causa de CAPTCHA e afins
  • Se você colocar no robots.txt páginas que humanos não veem, os scrapers de LLM podem raspar isso e acabar se contaminando sozinhos
  • No fim, as pessoas também frequentemente acreditam em rumores do Telegram em vez de fontes confiáveis
    Mesmo com dados válidos, não dá para impedir escolhas tolas
  • As grandes empresas já têm agentes baseados em navegador, então conseguem coletar dados mesmo de fontes fechadas

• As melhorias recentes no desempenho dos modelos vêm principalmente de aprendizado por reforço pós-treinamento (RL)
  O GPT 5.2 também usa o mesmo modelo base do GPT-4o
  Model collapse não é, no momento, um problema que os laboratórios de fronteira estejam realmente enfrentando

  • Artigo de referência: The Register - Industry insiders seek to poison AI models
  • Além de RL, a otimização de inferência na etapa de prefill também contribui para melhorar o desempenho
    O data poisoning não afeta muito isso
    Mas para refletir dados mais recentes é necessário retreinamento periódico, e aí o risco de poisoning cresce
    Em modelos de geração de imagem baseados em LoRA e afins, problemas de collapse ainda acontecem com alguma frequência
    No fim, o custo da curadoria de dados vai aumentar ainda mais
  • O knowledge cutoff do GPT-4o e do 5.2 é diferente

• O data poisoning tem dois lados
  Um é o efeito de desacelerar o avanço da IA; o outro é o efeito colateral de tornar o modelo instável e perigoso
  No fim, é muito improvável que os grandes laboratórios parem

  • Espero que a perda de confiança nas saídas de LLM chegue logo
  • Incentivar a criação de scrapers mais inteligentes é algo positivo
    Crawling repetitivo e sem sentido está desperdiçando custos de tráfego
  • O problema é a estrutura que não recompensa os provedores de dados
    O poisoning funciona como uma espécie de DRM: se o acesso for legítimo, entrega os dados reais; se for roubo, entrega dados tóxicos
  • Mesmo que a IA piore temporariamente, isso dá tempo para os humanos reagirem
    Alguns veem a própria IA como uma ameaça à humanidade e tentam prejudicá-la de propósito
  • No fim, as empresas vão parar se não conseguirem lucrar
    Mas agora, por causa do dinheiro de investimento, essa pressão quase não existe

• Fazer proxy direto da resposta de um “servidor venenoso” é perigoso
  Você pode acabar hospedando conteúdo ilegal sem perceber

• A tentativa de “contaminar modelos de IA” no fim só fortalece os pipelines de limpeza de dados dos laboratórios de IA
  Eles vão usar esse tipo de dado para criar sistemas de filtragem melhores

  • Mas, como diz o ditado, o rato que rejeita perfeitamente todo veneno acaba morrendo de fome, então filtragem perfeita também é impossível

• Não concordo com a alegação de que “inteligência de máquina é uma ameaça à humanidade”
  A IA atual é apenas um uso criativo de um motor de autocompletar, e a verdadeira ameaça é o comportamento econômico humano
  No fim, a humanidade é uma ameaça para si mesma

• Isso me lembra 『Anathem』, de Neal Stephenson
  No livro, empresas espalhavam dados lixo de propósito pela internet para vender suas próprias ferramentas de filtragem
  A discussão atual sobre data poisoning em IA não parece tão diferente disso

  • Na verdade, as empresas de IA já poluíram a internet
  • Isso é semelhante a como a antiga indústria de spam de SEO arruinou os mecanismos de busca

• Quando citam Geoffrey Hinton, as pessoas pegam só a parte que lhes convém
  Ele vê a IA como uma ameaça existencial, mas sobre a condição prévia disso — “o nível de autoconsciência da IA” —
  a maioria das pessoas que o cita na verdade não concorda com ele