Como evitar verificações de bot ao fazer web scraping

Baseado em Selenium, mas pode ser aplicado em outros lugares também

1. Remover a flag Navigator.Webdriver

2. Remover determinadas strings do ChromeDriver / GeckoDriver

3. Alterar resolução, User-Agent etc.

4. Usar o fluxo real de URL. Evitar visitar links invisíveis

5. Alterar o IP usando proxy

6. Usar valores de atraso aleatórios

7. Não usar navegador headless (a verificação pode ser feita checando a permissão de notificações)

[xguru]

No caso 1, no Puppeteer há lugares em que mesmo configurar apenas true/false faz com que ele seja detectado como bot.

Então é melhor apagar a propriedade completamente, como abaixo.

const newProto = navigator.__proto__;

delete newProto.webdriver;

navigator.__proto__ = newProto;

[louis]

É um bom ponto :) Eu substituí o código