O robots.txt da Wikipedia

Um robots.txt divertido, cheio de comentários — bots com comportamento estranho, bots que não seguem o protocolo, bots de captura, bots de anúncios do Google, o problemático modo recursivo do wget e mais.

[rtyu1120]

A parte de "Mesmo assim não segue o robots.txt, mas..." é engraçada kkk

[iolothebard]

Dá para dizer que são boas práticas exemplares para o robots.txt!!

Obrigado pelas boas informações.