agents.txt — proposta de um padrão de sitemap de documentação para agentes de IA

Hoje, quando um agente de IA genérico sem ajuste fino tenta encontrar conteúdo em documentação na web, ele faz isso do jeito que um humano faria: abrindo as páginas uma por uma.
Como cada página HTML vem com barra lateral, cabeçalho e rodapé, há muito mais ruído do que conteúdo realmente necessário.
Para navegar por um site de documentação com 651 páginas, o consumo pode chegar a milhões de tokens.

O robots.txt serve para dizer aos crawlers "não entre aqui",
e o sitemap.xml entrega uma lista de URLs aos mecanismos de busca,
mas nenhum dos dois ajuda muito agentes de IA a encontrar rapidamente a página que procuram.
O llms.txt também é um texto descritivo em formato livre, então não é adequado para navegação estruturada.

O agents.txt é um arquivo de índice estruturado que sites de documentação publicam no caminho /.well-known/agents.txt.
Basta o agente de IA ler esse único arquivo para, no caso de um site com 651 páginas, usar cerca de 3.200 tokens
e responder diretamente a perguntas como "onde está a página sobre prompt caching" ou "qual é o quickstart do SDK em Python", sem precisar rastrear as páginas.

Neste projeto de proposta, a navegação da documentação oficial do claude-code e do gpt-codex é oferecida em quatro formatos: TXT, MD, JSON e XML.
Também inclui 12 tipos de anotação de página e um recurso de compressão de padrões de SDK.
A ideia é parecida com a do Vercel, que reduziu o uso de tokens em 93% com o agent-browser, mas aqui a abordagem foi pensada no nível de padrão web, e não de aplicativos individuais.

Como pareceu que a melhor forma de demonstrar isso era com um agente, escrevi um agente chamado NAVIGATOR.md na raiz do projeto.
A implementação de referência pode ser vista em https://agentnav.baekenough.com.

Agradeço qualquer feedback.