- O Cloudflare Radar ganhou uma página dedicada de AI Insights, permitindo ver em uma única tela o tráfego de bots/crawlers de IA, a popularidade de serviços de IA generativa com base em DNS, diretivas de
robots.txt e tendências de uso de modelos no Workers AI
- O gráfico de tráfego de bots e crawlers de IA fornece dados resumidos e séries temporais dos principais UAs com base na lista do ai.robots.txt, além de permitir análises detalhadas via Radar API e Data Explorer
- O ranking de serviços de IA generativa usando dados de DNS do 1.1.1.1 mostra a evolução diária das mudanças e permite confirmar variações bruscas em serviços emergentes, como a rápida ascensão do DeepSeek no fim de janeiro de 2025 (estreia em 26/1 → 3º lugar em 29/1)
- A análise de
robots.txt agrega diretivas Allow/Disallow relacionadas a IA nos 10.000 principais domínios, visualizando tendências de bloqueio por categoria e destacando uma forte tendência de não permissão em notícias e mídia
- A popularidade de modelos/tarefas no Workers AI usa dados compartilhados para mostrar tendências de uso por modelo e tarefa e comparações por período, ajudando a entender o fluxo de um ecossistema de modelos em rápida evolução
Visão geral
- A Cloudflare criou a página AI Insights no Radar para oferecer de forma integrada tendências de tráfego, popularidade de serviços, controle de acesso e uso de modelos relacionados a IA
- As fontes de dados incluem tráfego DNS do 1.1.1.1, lista de user agents do ai.robots.txt, dados compartilhados do Workers AI e integração com a API/Data Explorer do Radar
Tendências de tráfego de bots e crawlers de IA
- A atividade dos 5 principais bots/crawlers de IA é visualizada por período para permitir entender intensidade de requisições e periodicidade
- O critério de coleta de user agents segue a lista do ai.robots.txt, atualizada continuamente
- Há suporte a acesso programático por meio de endpoints de API de séries temporais/resumo
- No Data Explorer, é possível explorar tendências amplas do conjunto completo de bots de IA
- Operadores podem verificar tráfego anômalo por região, período e UA
- Também pode ser usado para análise de correlação com políticas internas de resposta
Popularidade dos serviços de IA generativa
- Com base no volume de requisições DNS do 1.1.1.1, o sistema fornece diariamente o ranking relativo de serviços públicos de IA generativa
- Nas revisões anuais de 2023/2024, o ChatGPT manteve o 1º lugar
- No fim de janeiro de 2025, foi observada alta volatilidade nas posições 6 a 10
- O DeepSeek apareceu pela primeira vez em 26 de janeiro e subiu rapidamente ao 3º lugar em 29 de janeiro
- Isso fornece dados de ranking em alta frequência úteis para detectar serviços emergentes de rápido crescimento
- Na Radar API, é possível acessar a série temporal bruta com o parâmetro
serviceCategory=Generative%20AI
Análise de arquivos robots.txt
- Os 10.000 principais domínios são coletados periodicamente para agregar diretivas Allow/Disallow relacionadas a IA
- O gráfico resume permissão/bloqueio total e permissão/bloqueio parcial por user agent
- A categoria de notícias e mídia mostra uma forte tendência de bloqueio para UAs de IA
- Considerando as diretivas Allow, houve uma grande redução no número de sites com permissão explícita
- Atenção: na ausência de UA especificado e de wildcard, o comportamento padrão é de permissão total
- A Radar API e o Data Explorer oferecem análise com filtros por bot e por diretiva
Popularidade de modelos e tarefas no Workers AI
- As tendências de uso de modelos e tarefas (Task) com suporte público no Workers AI são visualizadas com base em dados compartilhados
- Popularidade de modelos e popularidade de tarefas são oferecidas separadamente em séries temporais e resumos
- No Data Explorer, o recurso de comparação por período (
timeCompare) permite analisar aumento ou queda em relação ao mês anterior
- Exemplos de modelos incluem geração de texto, geração de imagem, reconhecimento de fala e classificação de imagem, cobrindo diversas tarefas
- Quando novos modelos poderosos são lançados, isso pode ser usado para resposta proativa graças à visibilidade antecipada
Conclusão e implicações
- O ecossistema de IA mostra volatilidade acentuada, com vários casos de serviços novos que crescem rapidamente em pouco tempo
- Com a expansão dos serviços generativos, temas como raspagem de conteúdo, direitos autorais e controle de acesso seguem em tensão constante
- A página AI Insights oferece de forma integrada tráfego, popularidade, controle de acesso e uso de modelos, sendo útil para observadores do setor e profissionais acompanharem tendências do momento
- Operadores podem construir sistemas de monitoramento e relatórios automatizados via Radar API e Data Explorer
- Também é possível refinar a resposta a bots de IA conectando a estratégia de diretivas
robots.txt com políticas de CDN/segurança
Ainda não há comentários.