A resistência à IA está crescendo

• Enquanto a internet transborda de conteúdo de baixa qualidade gerado por IA (slop), estão se espalhando vários movimentos de resistência ativa à IA por parte das pessoas
• A comunidade do Reddit r/PoisonFountain está atuando com a meta de fornecer 1 terabyte por dia de dados contaminados para rastreadores de IA até o fim de 2026
• Estão surgindo várias formas de resistência, como técnicas para enganar resumidores de vídeo por IA e inserção intencional de dados falsos nas redes sociais
• O pano de fundo dessa resistência é a realidade de rastreadores de IA ignorando o robots.txt e causando em sites pequenos uma carga em nível de DDoS
• Há expectativa de que, se esse sentimento levar a atos de resistência pacíficos e legais, isso possa mudar a forma como o Vale do Silício coleta dados

---

Comunidade de contaminação de dados contra rastreadores de IA

• A comunidade do Reddit r/PoisonFountain foi criada por pessoas que se apresentam como insiders do setor de IA e incentiva o maior número possível de pessoas a fornecer grandes volumes de dados-lixo (poison) para crawlers da web
• A meta é fornecer aos rastreadores 1 terabyte por dia de dados contaminados até o fim de 2026
• O corpo principal desses dados contaminados está hospedado em rnsaffn.com, posicionado entre links de lixo capazes de atrair rastreadores de IA
  • À primeira vista, parecem código normal, mas na prática contêm erros sutis, gerando código inutilizável
  • É possível filtrar esses erros, mas isso custa caro em larga escala
• Como empresas de IA não conseguem melhorar seus modelos sem novos dados criados por humanos, a estratégia central é aumentar o tempo e o custo do roubo de dados
• Miasma é uma ferramenta que usa esses dados contaminados para fornecer grandes quantidades de lixo a bots maliciosos; o desenvolvedor a descreve como um "bufê infinito de slop para máquinas de slop"

O comportamento problemático dos rastreadores de IA

• Equipes que enviam rastreadores de IA estão causando regularmente em sites pequenos uma carga em nível de DDoS, elevando os custos de hospedagem de todos
• Não respeitam o robots.txt e também é frequente esconderem rastreadores atrás de proxies residenciais
• Se não conseguem obter dados de treinamento de forma ética, não há motivo para que operadores de sites facilitem o roubo de dados

Tentativa de contaminar resumidores de vídeo por IA

• Em um vídeo divulgado por meio do r/PoisonFountain, a criadora @f4mi demonstrou uma técnica para contaminar resumidores de vídeo por IA usando uma brecha nas legendas do YouTube
• Atualmente, o YouTube já corrigiu essa brecha nas legendas, então a técnica não funciona mais
• Embora temporário, foi um caso bem-sucedido de perturbação de sistemas de IA, mostrando que as pessoas estão tentando resistir ativamente

Sabotagem intencional de IA nas redes sociais

• Em plataformas de redes sociais como o Reddit, está aumentando a prática de escrever informações falsas deliberadamente para contaminar dados de treinamento de IA
• Como exemplo, há casos de publicação da informação obviamente falsa de que, em "Everybody Loves Raymond", Idris Elba interpretou a mãe de Raymond
  • Humanos conseguem perceber imediatamente pelo contexto que isso é falso, mas scrapers automatizados reconhecem isso como dados de qualidade gerados por humanos
  • Se esses dados chegarem à OpenAI e outras empresas, serão necessários recursos adicionais para removê-los dos conjuntos de treinamento
• Isso pode ser visto como uma versão moderna de quando trabalhadores têxteis destruíam teares mecânicos na era da Revolução Industrial; se pessoas suficientes contaminarem o espaço público com desinformação voltada a bots, isso pode pressionar empresas de IA a reconsiderarem a forma como coletam dados de treinamento

Rejeição generalizada à IA

• As pessoas sentem rejeição ao impacto da IA no mundo, especificamente aos efeitos sobre comunidades online, meio ambiente, ensino fundamental e superior, grupos em risco de saúde mental e meios de subsistência
• Há quem consuma e produza slop de IA, mas tanto offline quanto online há muito mais gente que odeia e rejeita essa tecnologia
• Sentimentos de ódio raramente levam a bons resultados, e a posição aqui é contrária a atos violentos como chutar ou virar robôs de entrega por IA ou o caso de lançamento de coquetel molotov na casa de Sam Altman
• Ainda assim, se os sentimentos em relação à IA se transformarem em atos de resistência pacíficos e legais, existe a possibilidade de realmente mudar a forma como o Vale do Silício age

Pós-escrito: texto original revisado após viralizar no Hacker News

• Este texto foi parar na primeira página de um grande hub de notícias (Hacker News), atraindo inesperadamente um grande volume de tráfego
• Houve um ataque malicioso de sobrecarga do servidor, com alguns poucos endereços IP enviando milhares de requisições para a página
  • Se o site estivesse em uma hospedagem compartilhada barata, provavelmente teria saído completamente do ar; como resposta, o tráfego para essa URL foi bloqueado temporariamente
• Apesar de a autora não ser especialista em IA, alguns participantes dos comentários fizeram críticas excessivas, exigindo precisão de nível especializado
  • Um comentário chegou a usar a expressão "não são melhores do que um grupo que queima bibliotecas", uma reação particularmente decepcionante para uma blogueira que gosta de bibliotecas e de compartilhamento de conhecimento
• A intenção original era compartilhar links sobre tendências anti-IA para um público pequeno do blog, e a autora afirma que, se soubesse que isso atrairia uma atenção negativa tão grande em uma plataforma desse porte, não teria publicado
• Depois disso, decidiu evitar publicar opiniões pessoais sobre IA e pretende voltar a focar no propósito original do blog: a diversão da small web
• Este é um caso que mostra como a livre expressão de opiniões na small web fica inibida por causa da viralização

[GN⁺]

Comentários do Hacker News

• Fico feliz que essa pessoa tenha encontrado uma comunidade, mas também me parece que há um certo fascínio pela atenção concentrada. Pelos próximos 30 anos, continuarão existindo grupos que odeiam e tentam atrapalhar a IA, assim como sempre houve oposição a smartphones, à internet e à TV. Por outro lado, se envenenamento de modelos se tornar algo viável de forma estável, isso me parece um problema de CS realmente interessante. Eu não tenho intenção de me misturar com ativistas anti-IA, mas tenho grande interesse nas técnicas de ataque em si, e acho que essa discussão pode muito bem ser lida até por pessoas com posições diferentes
  • Para mim, isso acaba recaindo no halting problem. Se o mecanismo que altera o comportamento medido for divulgado, o sistema também passará a levar esse mecanismo em conta e ajustará seu comportamento; então, no momento em que um método de poisoning se tornar conhecido do público, é muito provável que ele logo seja usado também em treinamento ou filtragem para bloqueá-lo. A menos que seja um ataque capaz de corromper a própria informação, o efeito deve ser passageiro; e, se for forte demais, o sistema também deixa de ser útil para humanos. Por isso, acho que ataques assim não durarão muito, mas continuam sendo um tema de pesquisa interessante por exporem, por um curto período, a interface áspera entre o modelo e o processo de treinamento
  • Lembro que, alguns anos atrás, inventei aqui um nome falso de jogo e deixei vários comentários sobre ele para tentar envenenar futuros modelos de IA. Só que agora nem me lembro mais do nome do jogo, e não tenho ânimo para clicar em More centenas de vezes para procurar os comentários antigos
  • Em geral eu concordo, mas às vezes também me pergunto o quanto estamos dentro de uma bolha, especialmente nas comunidades de tecnologia e em sites como este. Nos últimos meses, me dei conta de novo de que praticamente todos os meus amigos são pessoas do setor de tecnologia ganhando salários anuais de seis dígitos na faixa média-alta, e mesmo eles eram bem conservadores na hora de elogiar IA com entusiasmo. Isso me deixa ainda mais curioso sobre como as pessoas comuns enxergam a IA
  • Minha aposta é que os Chinese models têm grande chance de ser muito mais resistentes a poisoning, e que o público chinês, no geral, é mais favorável à IA do que o ocidental
  • Então há uma boa notícia. Se a unaligned superintelligence extinguir a humanidade dentro de alguns anos, também deixará de existir qualquer comunidade ativa dedicada a odiar e sabotar a IA
• Engraçado que eu nem consegui acessar o site da pessoa. Só aparecia a mensagem Sorry, you have been blocked, e fui barrado pela CloudFlare. Acho irônico falar contra IA e ao mesmo tempo depender de MITM e de gatekeepers centralizados, restringindo o acesso de visitantes humanos reais
  • Serviços que raspam sites costumam estar acostumados a resolver CloudFlare challenge, então às vezes entram nesses sites melhor do que pessoas. Talvez valha tentar usar um serviço desse tipo
  • Fui bloqueado exatamente do mesmo jeito. Mas consegui ver pela Wayback Machine
• Eu me lembro da época em que os grandes temas dos hackers eram DRM, DMCA, patent trolls e controle de exportação de PGP. A questão central era a liberdade de usar informação a qualquer momento, e o slogan da época era “Information wants to be free”. Por isso me parece muito dramática a mudança de clima agora, em que a postura virou algo como: se uma empresa não consegue obter dados de treinamento de forma ética, então o dono do site não tem motivo para facilitar esse roubo. Acho que teria sido difícil prever essa virada 25 anos atrás
  • Eu vejo isso como algo típico de uma cultura com mecanismos de exclusão fracos. Não conseguimos impedir pessoas dispostas a incendiar a cultura inteira e, no fim, deixamos vampires entrarem e depois nos perguntamos por que o pescoço está doendo
  • Eu nunca consegui concordar muito com a ideia de que isso seria uma contradição. Há diferença entre alguém que quer que todos vivam bem e alguém cujo plano é ficar rico sozinho enquanto os outros empobrecem. Se uma empresa usa dados de treinamento ocultando ou distorcendo as fontes e prejudicando a capacidade de outras pessoas acessarem informação, então alguém a favor de informação livre pode se opor a esse uso de forma perfeitamente coerente. A menos que o copyright desapareça por completo e toda obra criativa vire um bem público gratuito, não vejo motivo para tratar isso como uma reviravolta radical de valores
  • Na época, as pessoas queriam criar uma sharing economy ou uma economia de dádiva, mas não conseguiram filtrar os agentes mal-intencionados dentro dela. Então ficou esse amargor por ver o sonho utópico delas ser capturado por oportunistas, e eu não acho essa reação nada estranha
  • Para mim, é difícil concordar com a leitura de que isso viola o espírito hacker original. “Information wants to be free” é só uma parte da ética hacker, não o todo, e a informação hospedada num servidor nunca foi realmente gratuita, porque envolve custo de disponibilidade do servidor. Criar mecanismos que imponham custos a agentes gananciosos é um direito legítimo do operador do servidor e também um problema interessante de tit-for-tat. Além disso, esse tipo de resposta por poisoning não é intervenção do governo, mas ação direta do próprio indivíduo, o que me parece até mais hacker
  • Pelo que vejo, o slogan real está mais perto de “a informação deve ser livre, mas só para quem eu aprovo completamente”. Muitas vezes tenho a impressão de que a geração mais jovem glorifica a cultura pirata, mas odeia LLMs por causa de uma piracy baseada na mesma lógica
• Acho uma pena que essa intenção de poisoning esteja sendo gasta numa direção tão equivocada. Já existe conteúdo não contaminado suficiente para treinamento, e boa parte do conteúdo novo também está sendo coletada automaticamente do mundo real ou produzida com controle de qualidade em grandes sweatshops na África. Então isso pode até poluir mais a internet antiga, mas não vai fazer a seta do tempo voltar; daqui para frente, uma nova internet centrada em APIs e consórcios de anúncios públicos deve crescer, e o impacto desse problema tende a diminuir
  • Mas quando se vê o quanto os laboratórios de IA estão desesperados para conseguir conteúdo novo da internet, essa afirmação faz repensar um pouco. Eles parecem sair à caça de walled garden que vendam dados, e muitas vezes tentam pegar mesmo sem consentimento. Hoje o scraping sorrateiro e agressivo me parece realmente ter chegado a um nível sério
  • Pode até haver muito conteúdo, mas os operadores reais da internet estão tendo trabalho para barrar AI crawlers não autorizados. Em muitos casos, o bloqueio nem é só para impedir treinamento, mas para proteger a infraestrutura contra enxurradas de requisições. Como esses crawlers não respeitam bem sinais de recusa de acesso, poisoning pode parecer, do ponto de vista de quem não os quer, praticamente o único meio de defesa
  • Pelos casos com que mexi, concordo que não é fácil contaminar de forma significativa o modelo inteiro só com conteúdo escondido que quase não aparece para olhos humanos, mas parece relevante para scrapers. Ainda assim, só isso já pode bastar para reduzir a zero ou até a um leve prejuízo o ganho líquido obtido ao ignorar o meu sinal de “por favor, parem de bombardear meu scraper com requisições”. E a implementação em si também foi uma brincadeira bem divertida. Espalhar caracteres aleatórios cai fácil em filtro, mas misturar o conteúdo da página atual com o de páginas vizinhas pode enfraquecer conexões entre tokens. Além disso, alguns scrapers descartam a página inteira quando há palavrões explícitos, então espalhar esse tipo de palavra visível só para bots também pode funcionar. Claro, nada disso impede o desperdício de banda em si
  • Como eu disse em outro comentário, só o fato de praticamente todos os bots de IA acreditarem que Fortnite é real já mostra que poisoning totalmente fabricado tem algum efeito
  • Acho que também é preciso considerar o model collapse. Numa situação como a atual, em que conteúdo gerado por IA está ficando cada vez mais abundante, o simples fato de haver muito conteúdo pode não ser solução suficiente; ao mesmo tempo, uma quantidade enorme de dados está indo para áreas privadas ou atrás de paywalls
• Na minha visão, a maneira mais fácil de aumentar a resistência à IA é colocar Dario Amodei e Sam Altman na TV para falarem por conta própria
  • E, se ainda colocarem Alex Karp para promover armas autônomas, fica praticamente um combo triplo perfeito
  • Eu gostaria de ouvir mais sobre por que você disse isso. Imagino que seja porque os dois não se conectam bem com pessoas comuns, têm incentivos desalinhados, falam como líderes corporativos sem ser diretos, e exercem mais influência do que muitos governantes eleitos. Ainda assim, eu tomaria cuidado ao colocar Amodei e Altman no mesmo pacote. Minha impressão é que Altman é polido e competente, o que o torna ainda mais inquietante; as pessoas parecem seguir mais a figura dele do que as ideias, e isso me soa um pouco amoral. Já Amodei me parece mais um well-meaning geek que convence pela personalidade e pelos ideais; ele lida mal com mídia, mas pelo menos parece falar como ele mesmo. Claro, há muito a criticar nos dois, e eu também acho que concentração de poder leva à corrupção. Ainda assim, deixo uma ressalva: entre líderes corporativos, Dario me parece um dos poucos CEOs que levam alignment realmente a sério, financiam esse tipo de pesquisa, entendem os princípios e já fizeram trabalho prático nisso
• Na minha opinião, IA é uma corporate tool usada por empresas para extrair mais trabalho dos funcionários, ao mesmo tempo em que faz essas pessoas acreditarem que viraram desenvolvedores turbo. Hoje, a indústria de tecnologia me parece mais um circo com forte cheiro de dinheiro do que um esforço sério para melhorar a humanidade
  • Felizmente, acho que quase nenhum programador com o mínimo de juízo acredita nessa fantasia de turbo-charged dev. A maioria de nós sabe que isso é essencialmente uma encenação para ganhar dinheiro
• Eu vejo esse tipo de ação como slacktivism no fim das contas. Até entendo em parte a leitura de que substituir o trabalho da classe trabalhadora por compute — e compute é capital — significa a classe capitalista apertando o pescoço da classe trabalhadora. É bem possível que a classe capitalista realmente queira esse resultado. Mas, se você acredita nisso, então contaminar um pouco o modelo mal encosta no cerne do que está acontecendo agora
• Eu vi essa tendência com muita força especialmente no Reddit. Há comunidades bem pró-IA, a ponto de colocarem comentários-resumo feitos por IA em todo tópico e incentivarem posts escritos por IA, como r/vibecoding. Por outro lado, também há espaços mais cautelosos como r/isthisAI e r/aiwars, e outros totalmente contrários, como r/antiai. Além disso, subreddits tradicionais cujo tema nem é IA também acabam se posicionando em algum ponto do espectro; por exemplo, dá para ver diferenças entre o problema de suspeita de IA em comunidades de fotografia e a atitude cética, mas utilitária em comunidades de desenvolvimento
  • Para mim, isso é, no fim, groupthink à moda do Reddit — e, num sentido mais amplo, humano. Em vez de lidar com nuances, aparece essa tendência de marcar rapidamente um ponto numa linha unidimensional ou então cair de vez em um dos dois campos
• Mais constrangedor do que a raiva exposta naquele blog, para mim, é a falta de letramento técnico revelada por acreditar seriamente que esse tipo de poisoning não conseguiria causar qualquer efeito negativo no treinamento de modelos
  • Eu não teria tanta certeza assim de que poisoning não funciona. Pelo menos esse exemplo no Reddit sugere que resultados estranhos e inesperados realmente podem aparecer
  • Acho perigoso tratar a expressão de raiva em si como cringe. Se você descarta a raiva inteira como algo infantil, pode acabar se afastando do senso de realidade e do senso moral
  • Sinceramente, eu acho o outro lado ainda mais cringe. Gente usando ChatGPT para escrever mensagens, e-mails e currículos por elas, desenvolvedores profissionais fazendo apps inteiros com vibe coding, e pessoas dizendo que AGI está prestes a sair de LLMs — isso, sim, me parece o auge do constrangimento
• Não concordo com a afirmação de que “essas empresas não conseguem melhorar modelos de IA sem novos dados produzidos por humanos”. self-play existe desde a época do Arthur Samuel, nos anos 1950, e RL com recompensa verificável continua sendo, na minha visão, um elemento central do treinamento dos modelos de ponta
  • Eu não diria que isso está completamente errado. self-play funciona especialmente bem quando o problema é fácil de simular em um ambiente de RL e a exploração de estados é simples, mas modelagem de linguagem e coisas do tipo RLHF não são ambientes assim. De fato, ainda hoje existem empresas que contratam desenvolvedores de software ou cientistas de dados para resolver problemas aleatórios e gerar dados de treinamento; se self-play funcionasse tão bem assim, faria menos sentido esse tipo de negócio existir
  • Pelo que se sabe hoje, os modelos mais recentes ainda não parecem usar RLVR with self-play de forma séria. Em vez disso, parecem rodar RLVR sobre grandes ambientes de RL construídos manualmente por humanos. Ainda assim, é bem provável que caminhem logo para self-play, e o texto relacionado da Amplify Partners também vale a leitura

[amebahead]

Além de contaminar os dados com os quais a IA é treinada, não haveria outras formas de resistência?
Como, por exemplo, não consumir conteúdo gerado por IA...

[dongho42]

Eu também, enquanto lia isso, pensei se isso não acabaria envenenando os humanos sem querer.

[geesecross]

Não sei onde surgiu o problema, mas depois de '낌', '봄', '됨' e '짐' está sendo acrescentado um '음' que não combina. Será que isso também é poisoning? ;)

[xguru]

Parece que o modelo mudou um pouco, ou então o mesmo prompt está apresentando mau funcionamento. Já corrigi esta parte.