- Ao analisar recentemente o tráfego web, foi descoberto que um web bot chamado Thinkbot gerava o maior volume de tráfego
- Esse bot ignora o
robots.txt e sua mensagem de apresentação é extremamente displicente, basicamente dizendo algo como “se houver problema, bloqueie o IP”
- Durante um mês, ele usou 74 IPs diferentes, distribuídos por 41 blocos de rede
- A investigação mostrou que todos esses blocos de rede pertenciam à Tencent, o que levantou a suspeita de uma possível transferência de custos da Great Firewall
- No fim, foi adicionada uma regra de bloqueio massiva, cobrindo cerca de mais de 470 mil IPs
A aparição do Thinkbot
- Ao analisar o tráfego web, foi notado que um web bot chamado Thinkbot ocupava uma fatia relevante do tráfego
- A string de User-Agent era a seguinte e bastante displicente
> “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In_the_test_phase,_if_the_Thinkbot_brings_you_trouble,_please_block_its_IP_address._Thank_you.)”.
- Além da frase “se causar problemas na fase de testes, por favor bloqueie o IP”, não havia nem mesmo uma URL de referência
- Ele fazia crawling sem respeitar de forma alguma o arquivo
robots.txt
- Mesmo que o administrador do site tentasse bloqueá-lo, ele não usava um único IP, mas sim 74 endereços IP
- Ao rastrear isso de volta e consultar os ASNs, foi constatado que o tráfego vinha de 41 blocos de rede
- Isso significa que não era possível se defender com um simples bloqueio de um único IP
Relação com a Tencent
- Esses 41 blocos de rede pertenciam todos à Tencent
- O autor suspeita que o governo chinês possa tolerar ou até incentivar isso, e interpreta a situação como uma tentativa de repassar ao mundo exterior os custos da Great Firewall
- Dentro da China, a coleta de conteúdo é permitida e, mesmo que seja bloqueada do lado de fora, isso não seria um problema do ponto de vista do CCP; porém, para outros países e sites que tentam bloquear, isso se torna um ônus
Medidas de bloqueio no firewall
- O autor adicionou diretamente os blocos de rede da Tencent às regras de firewall do badbots
- Exemplos:
43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19 etc.
- Foram adicionados mais de 40 blocos de rede e, embora isso não cubra todos os IPs de propriedade da Tencent, inclui mais de 476.590 IPs únicos
Conclusão e metáfora
- O autor descreve essa situação como a realidade de que “na internet, não dá mais para ter coisas boas”
- Mais do que apenas bloquear tráfego de bots, este é um caso que mostra a queda de confiança em todo o ecossistema da internet e a inevitabilidade de respostas defensivas
Ainda não há comentários.