Debate entre Cloudflare e Perplexity: mas todos os usuários da web devem saber

🚨 Visão geral do caso

Em 4 de agosto de 2025, a Cloudflare criticou publicamente a Perplexity, uma busca de IA, como um "infrator de padrão da web"

⚔️ Argumentos de cada lado

Alegação da Cloudflare: "raspagem furtiva"

• A Perplexity desviou o bloqueio de crawling em 4 etapas
  1. Tentativa de acesso com bot oficial
  2. Mudança imediata de tática ao ser bloqueada
  3. Fingindo ser o navegador Chrome
  4. Reacesso com troca de endereço IP
• Coleta não autorizada e resumo de sites bloqueados no robots.txt

Contestação da Perplexity: "agente em nome do usuário"

• Uma IA para tratamento de solicitações de usuários, não um crawler tradicional
• Usa os dados apenas para resposta em tempo real, sem armazenar conteúdo
• Afirmação de que a Cloudflare analisou incorretamente o tráfego do BrowserBase

💡 Opinião do autor: a posição da Cloudflare é mais razoável

1. Mascarar identidade não é uma ação legítima
2. O robots.txt é um padrão de web respeitado desde 1994
3. Um modelo parasitário que retira a receita dos sites de origem
4. Existem boas práticas de conformidade com padrões, como a da OpenAI

🔮 Perspectivas futuras

• Atualização do robots.txt para a era da IA
• Criação de um sistema de autenticação para crawlers de IA
• Expansão da monetização do acesso a conteúdo
• Reforço de regulação jurídica