Anubis funciona

• Anubis é um software usado por várias organizações importantes, incluindo a ONU
• Este software é distribuído por Linux Kernel Mailing List, FreeBSD, SourceHut, FFmpeg, Wine, UNESCO e outros
• A adoção do Anubis mostra a importância e o impacto do software
• O desenvolvedor quer facilitar a instalação do Anubis e, para isso, está pedindo apoio financeiro
• Planeja dedicar mais esforço ao Anubis para lidar com o problema do aumento do tráfego de bots na internet

---

Distribuição do Anubis

• Anubis está sendo usado por várias organizações importantes, incluindo a ONU
• É distribuído por Linux Kernel Mailing List, FreeBSD, SourceHut, FFmpeg, Wine, UNESCO, Science Olympiad Student Center, Enlightenment e o GitLab do GNOME
• Essas implantações mostram a importância e o impacto do Anubis

Preocupações e planos do desenvolvedor

• O objetivo é tornar a instalação do Anubis mais fácil
• Para isso, o desenvolvedor está pedindo apoio financeiro e recebe doações via Patreon
• Planeja dedicar mais esforço ao Anubis para lidar com o problema do aumento do tráfego de bots na internet
• Há também a possibilidade de contratar pessoas, se necessário

Problema de tráfego na internet

• É mencionada a possibilidade de que o tráfego de bots supere o tráfego humano em plataformas como o YouTube
• Esse problema pode ocorrer em toda a internet
• O desenvolvedor sente que é necessário dedicar mais esforço ao Anubis e à stack tecnológica relacionada

Reflexões pessoais

• O desenvolvedor descreve a situação atual como "a conversa mais surreal"
• Expressa surpresa com a forma como sua vida mudou
• Planeja compartilhar mais informações pelo Bluesky

[GN⁺]

Comentários do Hacker News

• É engraçado que Xe tenha transformado algo que historicamente era visto como uma piada ou postagem banal em um produto realmente útil
• É surpreendente que muitos sites precisem desse produto
  • No caso de alguns servidores git, dá para entender o problema de páginas git ficarem lentas porque têm histórico profundo, não têm cache e são servidas a partir de discos lentos
• No caso da Unesco, o subsite é bem grande e tem milhares de documentos, mas é conteúdo estático
  • Há um Wordpress mal implantado rodando sobre Apache, sem cache, sem compressão de conteúdo e sem HTTP 2/3
  • Dá para servir isso barato em uma máquina pequena, mas exige conhecimento especializado
• Dá para perguntar a um LLM, mas isso não ajuda quando você não sabe o que perguntar
• É para impedir scraping por IA
  • O Anubis usa um desafio de prova de trabalho para garantir que o cliente use um navegador moderno e consiga calcular checksums SHA-256
• Acho o projeto Anubis muito legal
  • Mas é uma pena que os visitantes do site precisem ativar JavaScript™
  • Não é adequado para sites estáticos
• Foi construída uma solução para bloquear com eficácia "bots maliciosos" no nível de rede
  • Usando o banco de dados da MaxMind e um WAF e Reverse Proxy personalizados, vários grandes "Big Tech / Big LLM" são bloqueados por ASN (BGP)
• Acho que o desafio de prova de trabalho deveria descer para o nível de protocolo
  • Para acessibilidade, seria melhor implementá-lo como parte do TCP
• A imagem da página intermediária enquanto se espera a verificação do Anubis é fofa
  • Fiquei curioso sobre o impacto em mecanismos de busca comuns e sobre a comparação com a solução da Cloudflare contra crawlers de IA
  • Ao instalar e usar o Anubis, pode ser que alguns mecanismos de busca não indexem o site
  • Os bots de scraping de IA fazem scraping de forma tão agressiva que esse foi o método escolhido por falta de opção
  • Na maioria dos casos, dá para se proteger usando Cloudflare, mas quando isso não é possível, o Anubis é uma alternativa
• A detecção de bots leva 5 segundos para ser resolvida no celular
• É eficaz para bloquear usuários com JavaScript desativado
• Parece legal, mas fico curioso sobre como impedir que empresas de IA resolvam o desafio, completem a prova de trabalho e façam scraping do site assim mesmo