Parser de Robots.txt para NodeJS

 (github.com)
4 pontos por xguru 2022-01-15 | 1 comentários | Compartilhar no WhatsApp

  • Desenvolvido com o objetivo de ser compatível com o rascunho do IETF para o Robots Exclusion Protocol

  • Regras suportadas

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Caminho: correspondência com curinga(*) e EOL($)

Leituras relacionadas

1 comentários

 
xguru 2022-01-15