Infraestruturas FOSS estão sob ataque de empresas de IA
(thelibre.news)- Várias infraestruturas FOSS, como SourceHut, KDE GitLab, GNOME GitLab, LWN, Fedora, Inkscape, Diaspora e Read the Docs, vêm sofrendo com indisponibilidades, bloqueios e sobrecarga operacional causados por crawlers de IA e relatórios de segurança gerados por IA
- Os crawlers ignoram o
robots.txtou fazem requisições repetidas a endpoints caros, comogit blame, logs do Git e páginas de commits, tentando se misturar ao tráfego de usuários comuns com dezenas de milhares de IPs e User-Agents falsificados - O GNOME adotou a prova de trabalho Anubis, mas, em cerca de 2 horas e 30 minutos, apenas 3% de 81.000 requisições passaram, indicando que a maior parte do tráfego provavelmente era de bots
- As respostas incluíram bloqueio de versões do Edge, restrições para usuários não logados, bloqueio de sub-redes e países, listas de bloqueio de IPs e
robots.txt/.htaccesspara crawlers de IA; usuários reais também sofreram atrasos ou bloqueios de acesso - Projetos open source que dependem de colaboração pública têm uma superfície de exposição maior do que serviços privados, e o scraping de IA e relatórios de segurança alucinados por LLMs consomem diretamente o tempo e a capacidade operacional dos mantenedores
Indisponibilidades recorrentes em várias infraestruturas FOSS
- Drew DeVault, fundador e CEO da SourceHut, criticou empresas de LLM por rastrearem dados sem respeitar o
robots.txt, causando graves indisponibilidades na SourceHut - A infraestrutura KDE GitLab ficou sobrecarregada por crawlers de IA vindos de IPs na faixa da Alibaba, e desenvolvedores do KDE ficaram temporariamente sem acesso ao GitLab
- No GNOME GitLab, começou a aparecer a tela padrão de carregamento do desafio de prova de trabalho Anubis, usado para bloquear scrapers de IA que causavam indisponibilidades
- Com o acúmulo de casos, os scrapers de IA ficam mais agressivos, e também aumenta a carga operacional sobre comunidades FOSS baseadas em colaboração pública
Como os crawlers se comportam e por que é difícil bloqueá-los
- Segundo Drew DeVault, crawlers de LLM não seguem as exigências do
robots.txte varrem repositórios inteiros, inclusive páginas de alto custo- Entre os alvos estão
git blame, todas as páginas de logs do Git e todos os commits dos repositórios - Os crawlers usam User-Agents aleatórios a partir de dezenas de milhares de IPs, e cada IP envia no máximo uma requisição HTTP para tentar se misturar ao tráfego de usuários
- Entre os alvos estão
- Esse comportamento dificulta a criação de medidas de mitigação, e, na SourceHut, trabalhos de alta prioridade foram atrasados por semanas ou meses
- Como é difícil distinguir bots de pessoas, usuários reais também foram afetados de forma intermitente, levando a indisponibilidades na SourceHut
- Drew não diferencia se todas as empresas de IA tratam
robots.txtou a declaração de User-Agent da mesma forma
Respostas do KDE e do GNOME
- Segundo Ben, da equipe de sysadmin do KDE, os IPs que causaram um DDoS no KDE GitLab diziam ser todos MS Edge, e a causa eram empresas chinesas de IA
- Ben considera que operadores ocidentais de LLM, como OpenAI e Anthropic, ao menos configuram User-Agents corretos
- A solução temporária foi bloquear a versão do Edge que os bots alegavam usar
- Como os bots tendem a trocar o User-Agent para se misturar, isso é difícil de usar como solução definitiva
- O GNOME vinha enfrentando problemas desde novembro do ano passado e aplicou limites de velocidade para impedir que usuários não logados vissem merge requests e commits
- Essa medida também causou problemas para usuários reais não logados
- Depois, o GNOME migrou para o Anubis
- O Anubis apresenta um desafio computacional ao navegador e permite o acesso quando o navegador gasta tempo resolvendo-o e envia a resposta ao servidor
- Um desenvolvedor descreveu isso como uma “medida próxima de uma resposta nuclear” e considerou que foi uma escolha forçada porque bots de scraping de IA não seguem padrões como
robots.txt
- O Anubis também deixa impactos para usuários
- Se muitas pessoas no mesmo local abrem links, desafios de maior dificuldade podem ser apresentados
- Um usuário teve atraso de 1 minuto, e outro esperou cerca de 2 minutos no celular
- Essas situações ocorreram quando links do GitLab foram publicados em salas de chat ou quando um merge request do GNOME sobre Triple Buffering chamou atenção no Hacker News
- Segundo números compartilhados por Bart Piotrowski, sysadmin do GNOME, em cerca de 2 horas e 30 minutos, apenas 3% passaram pela prova de trabalho Anubis entre um total de 81.000 requisições
- Taxa de aprovação no Anubis: {p:3}
- Isso sugere que 97% do tráfego poderia ser de bots
Casos de bloqueio na LWN, Fedora e Inkscape
- Jonathan Corbet, que opera a LWN, avisou aos usuários que o site poderia “ficar lento às vezes” por causa de DDoS de bots scrapers de IA
- Ele disse que o tráfego entregue a leitores humanos reais é apenas uma pequena parte do total
- Os bots chegaram a acessar simultaneamente a partir de centenas de IPs, não se identificavam como bots e apenas não liam o
robots.txt
- Kevin Fenzi, sysadmin do projeto Fedora, também enfrentou o problema de scrapers de IA
- Um mês antes, precisou agir para manter
pagure.iono ar - Depois, a situação piorou, e ele bloqueou várias sub-redes, afetando também usuários reais
- Em uma situação desesperadora, bloqueou o Brasil inteiro, e entende-se que esse bloqueio ainda está em vigor
- Um mês antes, precisou agir para manter
- Neal Gompa apontou que até bloquear países inteiros tem limites e que a infraestrutura do Fedora ficou “fora do ar regularmente por semanas” por causa de scrapers de IA
- O Inkscape também enfrentou o mesmo problema na semana passada
- Martin Owens considera que não se tratava do DDoS chinês comum do ano passado, mas de várias empresas ignorando configurações de spider e falsificando informações de navegador
- Ele criou a lista de bloqueio Prodigius e disse que, se você trabalha em uma grande empresa que faz IA, talvez não consiga mais acessar o site do Inkscape
Listas de bloqueio de IPs e tentativas de resposta coletiva
- BigGrizzly, da Frama software, também foi inundado por crawlers de LLM ruins e criou uma lista de bloqueio de 460.000 IPs que usam User-Agents falsificados
- Ele disse que pode compartilhar essa lista
- O projeto
ai.robots.txté uma tentativa mais abrangente de criar uma lista pública de web crawlers relacionados a empresas de IA- Ele fornece um
robots.txtque implementa o Robots Exclusion Protocol - Também fornece um arquivo
.htaccessque retorna páginas de erro para requisições dos crawlers de IA listados
- Ele fornece um
Números de tráfego da Diaspora e do Read the Docs
- Na análise de Dennis Schubert sobre a infraestrutura da Diaspora, uma parte significativa de todo o tráfego web aparece como bots de empresas de IA
- Bots com User-Agent da OpenAI respondem por um quarto de todo o tráfego web
- A Amazon responde por 15%, e a Anthropic por 4,3%
- Cerca de 70% de todas as requisições foram contabilizadas como vindas de empresas de IA
- Schubert diz que esses bots não fazem um único crawling e vão embora; eles retornam a cada 6 horas e não se importam com o
robots.txt- Quando há limite de velocidade, eles mudam para outro IP
- Quando são bloqueados pela string de User-Agent, eles trocam para uma string de User-Agent que não é de bot
- Ele descreveu isso como um DDoS contra toda a internet
- O Read the Docs afirmou, no texto “AI crawlers need to be more respectful”, que o tráfego caiu 75% ao bloquear todos os crawlers de IA
- Redução de tráfego: {p:75}
- O tráfego caiu de 800 GB por dia para 200 GB
- Isso gerou economia de cerca de US$ 1.500 por mês
- Houve casos em que crawlers baixaram dezenas de TB de dados em poucos dias
- Como eles usam vários IPs, é difícil bloqueá-los completamente
- Segundo Schubert, crawlers “normais” como Google e Bing, somados, representam menos de 1%
Carga de manutenção criada por relatórios de segurança gerados por IA
- O problema não se limita a scrapers e também se espalha para relatórios de bugs gerados por IA
- Daniel Stenberg, do projeto Curl, abordou o problema de relatórios de bugs gerados por IA no texto “The I in LLM stands for Intelligence”
- O Curl opera um projeto de bug bounty
- Recentemente, muitos relatórios de bugs foram gerados por IA e pareciam plausíveis à primeira vista, consumindo tempo dos desenvolvedores para verificação
- Mas os relatórios continham alucinações típicas esperadas de IA
- Seth Larson, que também integra equipes de triagem de relatórios de segurança de CPython, pip, urllib3 e Requests, enfrenta um problema semelhante
- Há um aumento de relatórios de segurança alucinados por LLMs, de qualidade extremamente baixa e com caráter de spam, em projetos open source
- Como esses relatórios podem parecer legítimos à primeira vista, é preciso tempo para refutá-los
- Responder a relatórios de segurança é caro, e lidar com relatórios de bugs plausíveis, porém inventados, impõe uma grande carga adicional aos mantenedores
- Larson pede que sistemas de IA ou LLM não sejam usados para detecção de vulnerabilidades
- Ele afirma que os sistemas atuais não conseguem entender código, e que detectar vulnerabilidades de segurança exige entendimento de código e compreensão em nível humano de conceitos como intenção, formas comuns de uso e contexto
Uma carga estrutural maior sobre FOSS
- Projetos FOSS muitas vezes têm menos recursos do que produtos comerciais
- Projetos conduzidos pela comunidade têm mais partes de sua infraestrutura expostas publicamente, ficando mais vulneráveis a crawlers
- Como precisam de issues públicas, relatórios de segurança e infraestrutura de colaboração, scrapers de IA e issues geradas por IA atuam como cargas simultâneas
- No fim, responder a indisponibilidades, definir políticas de bloqueio, mitigar danos a usuários e revisar relatórios de segurança falsos consomem o tempo dos mantenedores open source
1 comentários
Opiniões no Hacker News
Há este caso também: https://about.readthedocs.com/blog/2024/07/ai-crawlers-abuse... É um texto citado no original, e todos os conhecidos que operam infraestrutura de internet em grande escala estão passando por algo parecido
Este texto reúne bem esses casos em um só lugar. Como eu disse quando o escrevi, essas empresas estão simplesmente queimando por completo seu capital de confiança
Uma das principais startups dessa área colaborou diretamente conosco, reembolsou os custos e corrigiu o bug do crawler. Já o Facebook não respondeu aos emails, e o link no User Agent dava 404. Um engenheiro da empresa viu o texto e informou o email correto, mas enviei para lá 3 vezes e mesmo assim não houve resposta
A postura é: queira você ou não, a IA vai entrar em todos os produtos; queira você ou não, ela vai absorver todos os dados
Opero uma infraestrutura que processa centenas de TB de tráfego por mês, principalmente em servidores dedicados, e o custo de tráfego fica aproximadamente entre US$ 0,50 e US$ 3 por TB. Varia conforme a região, mas os custos de tráfego de saída da AWS são realmente absurdos
Ver meu projeto aparecendo assim na imagem de prévia é realmente surreal. Incrível! Se quiser experimentar, está aqui: https://github.com/TecharoHQ/anubis
Pelo que vi até agora, parece funcionar de verdade. Implantei em xeiaso.net no meu blog para ver como ele falha em produção
Há algo como um widget de animação de carregamento, mas quando vi pela primeira vez há algumas semanas no rastreador de issues do Gnome, a prova de trabalho levou uns 20 segundos e eu não entendi o que estava acontecendo. No começo achei que tinha sido bloqueado ou que o captcha não tinha carregado
Agora eu sei o que é, mas olhando só para a página “verificando se você é um bot”, ela não parece 100% clara
É uma boa forma de quem quer manter o site aberto gratuitamente transferir o ônus econômico para os crawlers. Se querem os dados, que gastem dinheiro do lado deles
Existe a desvantagem de poder sair dos motores de busca, mas também não há motivo para não registrar o serviço em indexadores globais ou P2P
E, em relação a https://news.ycombinator.com/item?id=43422781, se acoplar um método para calcular micropagamentos na shitcoin que você quiser, talvez surja mais um uso realmente útil para criptomoedas
Nesse ritmo, não é um problema só da infraestrutura livre e de código aberto. Claro que isso é o canário na mina de carvão, então é especialmente fácil se identificar, mas no fim é um problema de todo o acesso anônimo à internet
Dá para colocar sites atrás de um muro de autenticação, mas os novos bots, diferentemente dos antigos, resolvem captchas e imitam usuários reais. Ainda mais quando usam IPs residenciais e User Agents falsos ou, como no artigo, até User Agents reais conectados a algo como Playwright
No fim, o que vai sobrar além de os sites começarem a exigir cartão de crédito, Worldcoin ou algum substituto igualmente deprimente?
Elas usam Facebook, Instagram, X etc. como cartão de visita digital. Eu normalmente não uso Facebook nem Instagram, abandonei o X e nem tenho conta; quando sigo esses links, vejo só parte das informações e então aparece uma caixa de diálogo mandando criar uma conta ou ir embora, ou surge algum erro desconhecido
Não vejo problema em entrar em comunidades privadas, mas é extremamente irritante quando esse tipo de barreira aparece sobre informações que a pessoa publicou achando que ficariam visíveis publicamente
O aumento de custos faz um site sair do ar para sempre? Ótimo, porque agora as pessoas terão de usar IA para toda a documentação. Faz alguém recuar dos captchas e passar a pedir cartão de crédito ou número de telefone? Ótimo, porque a anonimidade da internet diminui nessa medida
Vazamentos de dados aumentam fraudes? Ótimo, porque será preciso IA para impedir isso. Para agentes maliciosos, é um jogo em que quase tudo é vitória
A balcanização da internet é discutida há muito tempo. A gente poderia imaginar que essa ameaça, ou o fato de ela já ser um lixão fora de controle, geraria alguma cautela antes de piorar ainda mais a situação, mas empurrar os limites de assédio e atrito que as pessoas conseguem tolerar, no fim, não importa. Porque não há uma escolha real
A taxa de novos cadastros também não mudou de forma perceptível. Isso vale tanto para o jogo quanto para a wiki, e a maior parte do tráfego de scraping foi para a wiki. Se o scraping não diminuir, é bem provável que a wiki tenha de ficar quase inteiramente atrás de um muro de autenticação
Se uma internet em que ter visitantes demais vira uma crise existencial para um site, então a internet em que vivemos não tem uma estrutura capaz de sobreviver por muito tempo
Quando os mecanismos de busca fizeram isso no passado, o setor chegou a um acordo para evitar a criação de regulamentação legal e criou a especificação robots.txt. Por isso, não se formou um arcabouço jurídico
Agora há uma nova geração de indexadores famintos que não participou desse acordo, que tenta raspar o máximo de dados possível por pressão competitiva e simplesmente ignora o robots.txt
De todo modo, deveria ter havido legislação, e quem ignorasse o robots.txt deveria ser bloqueado, multado, sofrer limitação de taxa etc.
Há outras opções além de uma proibição total
Eu também sofri um ataque recentemente [0]. É uma pequena instância do Forgejo onde hospedo o código de vários pacotes open source, então ela precisa ser pública, mas foi completamente destruída, e o disco ficou cheio de arquivos ZIP gerados
Não fui o único a passar por isso. No meu caso, bloquear faixas de IP da Alibaba Cloud fez o ataque diminuir por ora
Se você opera uma instância do Forgejo, recomendo fortemente definir DISABLE_DOWNLOAD_SOURCE_ARCHIVES como true. Os crawlers ainda vão ficar agarrados à CPU, mas pelo menos o disco não vai encher de arquivos ZIP
[0] https://blog.nytsoi.net/2025/03/01/obliterated-by-ai
O design de gerar arquivos ZIP, gravá-los inteiros no disco e então enviá-los de uma vez ao cliente é absolutamente horrível e inutilizável. Um design adequado deveria gerá-los progressivamente e enviá-los ao cliente usando o mínimo de memória e sem usar disco algum
A existência de um design absurdo como esse é um sinal de que os desenvolvedores deram pouquíssima atenção à eficiência, e é bem possível que haja um monte de problemas críticos semelhantes
Por exemplo, dando uma olhada por alto no código-fonte do Forgejo, parece que ele inicia processos “git” em vez de usar uma biblioteca dedicada para todas as operações Git. Não confirmei, mas não me surpreenderia se essas operações estivessem muito longe da forma mais eficiente de executá-las
Quando se roda um software tão extremamente malfeito, não surpreende que a CPU fique presa em 100% e que o servidor se torne inutilizável
A grande conclusão aqui é que o domínio da web pelo Google e pela publicidade em geral está desaparecendo
A única forma de bloquear bots é com CAPTCHA, mas aí os indexadores de busca também não conseguem indexar o site. No fim, os mecanismos de busca não conseguem indexar o site e deixam de oferecer valor
Deve haver um pequeno atraso até o conhecimento atualmente presente nos LLMs secar, mas ninguém mais conseguirá raspar a web de forma automatizada
Parece que tudo vai queimar
Quando a população de IA diminui, o conteúdo humano aumenta, o que vira mais alimento para a IA e faz a IA crescer de novo. Então a expressão humana fica soterrada e os humanos ficam mais quietos. Quando o alimento da IA diminui e a IA recua, o ruído diminui e os humanos voltam a crescer. Esse ciclo se repete até cansar
Estamos presos a uma escolha difícil: queremos os incumbentes entrincheirados ou hospedagem barata e aberta?
Muitos sites baseados em anúncios vão apagar as luzes. Os únicos visitantes serão bots
Se houver uma ferramenta simples, a maioria permitirá apenas Google, Bing e, no máximo, mais um ou dois
Se alguém tiver interesse em pequenas ações de sabotagem, acho que consegui “afogar” em certa medida as informações reais do meu microblog
Usei LLaMa para criar dezenas de textos contraditórios para cada texto real e os linkei de forma invisível para que humanos não clicassem. Por assim dizer, é inundar a zona com lixo ao estilo Bannon
Você referencia explicitamente caminhos que uma pessoa não consegue ver de fato, e o tráfego que acessa esses caminhos é tratado como bot. Os bots não conseguem resistir
Isso não funcionaria em sites bem estruturados em que o bot sabe exatamente quais endpoints quer raspar, mas talvez desacelere threads de spiders mais exploratórias
[0] https://libraryofbabel.info/
É a VideoLAN
Nós também estamos tendo fóruns e GitLab martelados por bots de empresas de IA
A maioria não respeita o robots.txt
É uma loucura. Fico me perguntando se, no fim, vamos para uma versão da web que não seja indexada por mecanismos de busca. Uma web mais parecida com a navegação dos anos 90, em que os sites precisam criar links entre si para serem descobertos
Gosto da ideia de que a solução para o scraping por LLMs seja fazer o navegador realizar prova de trabalho antes de permitir acesso. Fico curioso se novos sites começarão a adotar isso
Assim eles não seriam indexados por mecanismos de busca, mas isso ajudaria a proteger a propriedade intelectual
Nunca tinha pensado nisso até agora, mas é insano que empresas que oferecem tanto produtos de LLM quanto serviços de computação em nuvem ganhem duas vezes
Elas obtêm um produto de LLM que podem vender e, ao mesmo tempo, ficam com as receitas de tráfego de saída e custos de computação decorrentes da carga aumentada. Visto assim, que incentivo existe para se importar com scraping ineficiente por LLMs? Quanto mais bagunçado deixarem, mais dinheiro ganham com o custo de tráfego de saída do armazenamento em nuvem, outro de seus impérios