- Muitos usuários usam leitores de feed RSS para manter o conteúdo de sites sempre atualizado.
- Porém, ao ativar o Cloudflare em um site, há a possibilidade de esses usuários de RSS serem impedidos de acessar o conteúdo.
- O painel do Cloudflare oferece ferramentas para bloquear tráfego de bots. Em especial, há o Bot Fight Mode e a opção de bloquear "AI scrapers and crawlers".
- Quando esses recursos são ativados, usuários que acessam o site por meio de leitores de RSS podem acabar sendo bloqueados.
Como o Cloudflare bloqueia leitores de RSS
- O Cloudflare pode interpretar visitas ao site como se viessem de raspadores de IA ou bots e bloqueá-las.
- Quando um leitor de RSS tenta ler um site, o Cloudflare apresenta um desafio que precisa ser resolvido por um humano. O leitor de RSS não consegue resolver isso.
- Em outros casos, o acesso do leitor de RSS pode ser bloqueado sem motivo aparente.
Como desbloquear leitores de RSS usando Cloudflare
- Mesmo usando Cloudflare, é possível colocar leitores de RSS na lista de permissões para evitar o bloqueio.
- É preciso encontrar, no painel de análises do Cloudflare, o user-agent dos leitores de RSS que foram bloqueados.
- Dá para criar regras personalizadas com base na string de user-agent ou no endereço IP para permitir esse tráfego.
É preciso uma forma melhor para o Cloudflare permitir leitores de RSS
- O Cloudflare oferece um programa de verificação de bots no qual donos de leitores de RSS podem se inscrever manualmente, mas esse programa não é garantido e apresenta vários problemas.
- O processo de verificação é instável.
- Leitores de RSS verificados ainda continuam sendo bloqueados.
- Liberar leitores de RSS em vários sites é trabalhoso.
Resumo do GN⁺
- As ferramentas de segurança do Cloudflare são úteis para evitar bots maliciosos e ataques, mas também precisam permitir que usuários de ferramentas RSS acessem o conteúdo dos sites.
- O Cloudflare deveria oferecer uma maneira simples de resolver o problema de bloqueio de leitores de RSS.
- É uma informação importante para donos de sites que usam as configurações de segurança do Cloudflare
1 comentários
Comentários do Hacker News
O operador do NewsBlur está tendo dificuldades para coletar feeds RSS devido aos bloqueios do Cloudflare, e os usuários estão pedindo reembolso. Ele compartilhou uma lista de endereços IP com o Cloudflare, mas isso não teve efeito. Espera que o Cloudflare adicione essa lista à allowlist
O Listen Notes usa o Cloudflare para gerenciar a segurança do serviço e separa subdomínios de acordo com o tipo de tráfego, aplicando regras de firewall e de página adequadas a cada um. Com isso, garante a melhor prestação de serviço possível
Ao executar o Firefox no OpenBSD com configurações rígidas de privacidade, ocorre um erro 403 Forbidden em sites que usam o Cloudflare. Isso parece ser um problema do Cloudflare
Adicionar user agents específicos à allowlist é um trabalho manual sem fim, e agentes maliciosos podem contornar isso. Em vez disso, recomenda-se criar uma regra de página que desative o bloqueio de bots para resolver o problema de todos os leitores de RSS. O problema das configurações padrão do Cloudflare não é resolvido há anos
O Cloudflare, por meio do e-mail jgc@cloudflare.com, diz querer ouvir as experiências dos proprietários de leitores de RSS e planeja pedir à equipe que investigue o problema em detalhes
Um proprietário de leitor de RSS menciona que muitos pedidos de suporte acontecem por causa do problema de “o feed não funciona”, e que isso ocorre não só por causa do Cloudflare, mas também por várias configurações de firewall
O Cloudflare atrapalha a coleta de feeds por leitores de RSS, e não há solução além de pedir aos proprietários dos sites que adicionem exceções individualmente
Sites que usam o Cloudflare podem bloquear usuários do Safari, do Chrome ou até todos os usuários, o que causa perdas aos proprietários dos sites. Ao acessar o próprio Cloudflare, porém, não há bloqueio
Quando sites do governo são bloqueados por causa do Cloudflare, é quase impossível explicar o problema e pedir uma solução. Mesmo quando isso é resolvido, o problema reaparece algumas semanas depois
O Cloudflare atrapalha o acesso à web a partir de IPs da Tailândia e de fingerprints do Firefox no Linux, e os administradores dos sites não percebem esses problemas. A pessoa resolveu isso criando uma ponte de RSS com a API de web scraping da Scrapfly. A web moderna é antissocial e está longe do ideal da web 2.0, em que tudo seria conectado por APIs