- Com o aumento do tráfego centrado em crawlers e agentes de IA, a estrutura da web está mudando para um modelo em que o conteúdo é consumido diretamente por máquinas, e não apenas por pessoas
- Converter HTML em Markdown reduz o uso de tokens em cerca de 80%, melhorando custo e eficiência de processamento
- Suporte, no nível da rede, à conversão em tempo real de HTML→Markdown com base no cabeçalho
Accept: text/markdown
- Os cabeçalhos
x-markdown-tokens e Content-Signal também fornecem estimativa de quantidade de tokens e política de uso por IA
- É possível acompanhar no Radar como bots de IA consomem conteúdo, e o recurso está em beta gratuito para planos Pro ou superiores
Contexto: a estrutura do tráfego web muda para um modelo centrado em agentes de IA
- A forma de descobrir conteúdo online está migrando rapidamente de um modelo centrado em mecanismos de busca tradicionais para uma estrutura centrada em crawlers e agentes de IA
- Antes, o SEO determinava o tráfego; agora, sistemas de IA que exigem dados estruturados surgem como principais consumidores
- As empresas precisam considerar os agentes como cidadãos de primeira classe (first-class citizen), não apenas os visitantes humanos
- A web tradicional é baseada em HTML e foi projetada para pessoas, com excesso de elementos desnecessários para processamento por IA
Por que Markdown
- O HTML é uma estrutura que desperdiça tokens por causa de elementos sem relação com o significado semântico, como
<div>, <script> e componentes de navegação
- Exemplo:
## About Us usa cerca de 3 tokens, enquanto o HTML equivalente <h2 class="section-title"...> consome de 12 a 15 tokens
- Neste post do blog, foram 16.180 tokens em HTML → 3.150 em Markdown, uma redução de cerca de 80%
- O Markdown fornece uma estrutura explícita, melhorando a eficiência de processamento por IA e a qualidade dos resultados
- Hoje, a maioria dos pipelines de IA inclui uma etapa de conversão de HTML→Markdown, mas isso traz
- aumento do custo computacional
- maior complexidade de processamento
- possibilidade de divergir da intenção do autor
Markdown for Agents: conversão automática no nível da rede
- A rede da Cloudflare oferece suporte à conversão em tempo real de HTML→Markdown
- Funciona com base em content negotiation em zonas habilitadas
- Quando o cliente envia uma requisição com o cabeçalho
Accept: text/markdown
- o HTML original é buscado na origin
- depois é convertido em Markdown na rede e retornado
- Exemplo de resposta
content-type: text/markdownvary: accept- inclui o cabeçalho
x-markdown-tokens: 725
x-markdown-tokens fornece a estimativa de quantidade de tokens do documento Markdown
- pode ser usado para calcular a janela de contexto
- e para definir estratégias de chunking
Integração com a Content Signals Policy
- Integrado ao framework Content Signals Content Signals
- As respostas em Markdown incluem, por padrão,
- o cabeçalho
Content-Signal: ai-train=yes, search=yes, ai-input=yes
- É possível indicar se o uso para treinamento de IA, busca e entrada para agentes é permitido
- No futuro, serão oferecidas opções de política personalizadas
Casos de uso: Cloudflare Blog e Developer Docs
- Recurso ativado na documentação para desenvolvedores e no blog
- Requisições com
curl -H "Accept: text/markdown" retornam Markdown
- O topo da resposta inclui metadados em YAML
- title
- description
- image e outras informações estruturadas
Como converter documentos fora da Cloudflare
- Workers AI
AI.toMarkdown()
- suporta conversão e resumo de vários formatos de documento, incluindo HTML
- Browser Rendering
/markdown REST API
- suporta conversão para Markdown após renderização em navegador real
- pode lidar com páginas dinâmicas
Rastreamento do uso de Markdown: Cloudflare Radar
- O Radar AI Insights adicionou a dimensão content_type
- é possível verificar a distribuição dos tipos MIME do conteúdo retornado para bots e crawlers de IA
- Também é possível filtrar requisições Markdown por agente específico
- Ex.: OAI-Searchbot(GPTBot)
- Os dados podem ser acessados pela API pública e pelo Data Explorer
Como começar e escopo de disponibilização
- Cloudflare Dashboard → selecionar a Zone → ativar o recurso em Quick Actions
- Disponível para clientes dos planos Pro, Business e Enterprise, além de SSL for SaaS
- Atualmente em beta e oferecido gratuitamente
- Mais detalhes podem ser consultados no Developer Docs
Ainda não há comentários.