Precursor: o sistema da Cloudflare que detecta comportamento de agentes ao longo de toda a sessão
(blog.cloudflare.com)- Como ficou mais difícil identificar automações que usam navegadores reais e JavaScript apenas com pontos de verificação individuais, como login, cadastro e pagamento, a Cloudflare apresentou o Precursor, que analisa continuamente sinais comportamentais de toda a jornada do usuário
- Ele injeta JavaScript leve, montado dinamicamente, nas respostas HTML para coletar movimento do ponteiro, atividade do teclado, foco e estado de exibição da página, refletindo isso em tempo real na avaliação na edge e nos sistemas existentes de defesa contra bots
- Movimentos do pulso e atrasos cognitivos, tremores nas mãos, ritmos de velocidade, direção e correção são difíceis para automações com deslocamentos em linha reta, velocidade constante ou precisão excessiva replicarem ao longo de toda a sessão, servindo como base para a classificação por sessão
- Adota um design de privacidade que coleta apenas timing e ritmo, em vez das teclas realmente digitadas, e não vincula sinais comportamentais a contas de usuário ou perfis permanentes, nem os expõe diretamente no painel do cliente
- Está sendo implantado atualmente como recurso do Enterprise Bot Management, pode ser usado gratuitamente até o GA no fim deste ano e pode operar por observação em segundo plano ou forçando um Challenge em sessões não verificadas, sem alterações na aplicação
De pontos de verificação individuais para a sessão inteira
- A defesa contra bots é uma disputa adversarial em que a adaptação dos atacantes e a resposta dos defensores se repetem, e a Cloudflare usa em conjunto a visibilidade de toda a rede e sinais do ambiente do cliente
- Analisa mais de 1 trilhão de requisições por dia em sua rede global para identificar reputação, padrões e anomalias em uma cobertura que passa de 20% da web
- O Cloudflare Turnstile evoluiu de uma alternativa ao CAPTCHA para um Challenge gerenciado baseado em risco, que ajusta o nível de atrito necessário para verificar o usuário
- O Turnstile é executado cerca de 3 bilhões de vezes por dia em pontos sensíveis como login, cadastro e pagamento, mas havia visibilidade limitada sobre como humanos e bots se comportam ao longo de toda a jornada do usuário, inclusive entre esses pontos
- O Precursor preenche essa lacuna de visibilidade coletando continuamente sinais de comportamento do cliente em toda a aplicação web e classificando por sessão
- Expande para toda a aplicação a detecção do lado do cliente que os Challenges forneciam
- Complementa opcionalmente o Turnstile, e ambos os recursos fazem parte do Enterprise Bot Management
Continuidade comportamental é mais difícil de imitar do que um instante curto
- Automações modernas executam JavaScript, usam ambientes de navegador reais e conseguem até passar por CAPTCHAs individuais, então podem parecer usuários legítimos em trechos curtos
- Reproduzir comportamento humano consistente ao longo de uma sessão inteira é mais difícil, e o Precursor usa essa continuidade comportamental como sinal para detectar fraude e abuso
- Adiciona mais sinais a cada decisão, aumentando a precisão na diferenciação entre humanos e automação
- Reduz a dependência de Challenges agressivos, diminuindo interrupções desnecessárias para usuários legítimos
- Desenvolvedores de bots passam a precisar imitar a sessão inteira, o que aumenta o custo de criar e manter automações e reduz a confiabilidade de operações em larga escala
Erros humanos e restrições físicas
- Desenvolvedores de bots adicionam ruído gaussiano ou atrasos aleatórios uniformes ao movimento do mouse, mas os movimentos humanos têm restrições físicas e cognitivas que vão além de simples ruído
- Eixo de rotação do pulso: a amplitude de movimento do pulso e a rotação do antebraço fazem o mouse frequentemente se mover em forma de arco
- Carga cognitiva: há um atraso mensurável entre ver uma caixa de seleção e clicar nela
- Tremor nas mãos: mesmo em uma mão estável, aparecem vibrações associadas à frequência fisiológica do tremor
- Automações tendem a usar interpolação em linha reta ou curvas de Bézier matematicamente ideais, e a clicar com uma precisão difícil para uma pessoa reproduzir
- Uma biblioteca de automação de exemplo move o mouse em uma linha perfeitamente reta, sempre retorna à origem e reage na mesma velocidade
- Já pessoas, mesmo no mesmo site, mostram trajetórias irregulares, pequenas correções e ultrapassagens do alvo, além de variações de velocidade, timing e direção
- Mesmo que interações individuais pareçam plausíveis, as diferenças nos padrões de comportamento aparecem ao longo da sessão inteira, e o Precursor captura e avalia essas assinaturas comportamentais enquanto as interações continuam
Injeção no cliente e coleta de sinais
- Ao ativar o Precursor, um script leve é automaticamente injetado nas respostas HTML dos sites que passam pela rede da Cloudflare
- Não exige configuração adicional, conexão de rede separada nem incorporação de terceiros
- O bundle é pequeno, ofuscado e montado dinamicamente a cada resposta
- É projetado para não interferir em outra lógica de página da aplicação web hospedada
- O script captura movimento do ponteiro, atividade do teclado, mudanças de foco e estado de exibição da página com event listeners leves
- Serializa os eventos em formato compactado e os armazena em buffer na memória
- Os dados acumulados no buffer são enviados periodicamente à camada de avaliação
Avaliação na edge e validação cruzada
- O servidor de edge desserializa os payloads do Precursor recebidos como entradas comportamentais e executa vários avaliadores (evaluators) por meio de um dispatcher
- Cada avaliador pode ler os fluxos do Precursor de que precisa e registrar sinais em um registro compartilhado de detecção
- Ele não depende de um único evento, mas valida dados diferentes de forma cruzada
- Verifica se a atividade do ponteiro corresponde ao tempo em que a página esteve visível
- Observa se eventos de teclado ocorrem apenas quando um campo de texto está em foco
- As informações que chegam continuamente são integradas como sinais de detecção individuais e usadas para calcular o peso da detecção
Acúmulo por sessão e camadas posteriores de detecção
- Como os dados do Precursor se acumulam no escopo da sessão, um bot não consegue redefinir sua assinatura comportamental apenas atualizando a página ou recomeçando a partir de um novo Challenge
- Metadados da sessão também são repassados a camadas posteriores de detecção
- Heurísticas em modo shadow e análise de sessão
- Comparação entre conclusão esperada e conclusão real
- Heurísticas de inadimplência da sessão
- As informações observadas na edge são registradas para melhorar a detecção e usadas para ajustar a pontuação de bot da sessão
Design de privacidade
- Os event listeners coletam apenas o mínimo de informação necessário para distinguir padrões humanos de padrões de automação e abuso
- Na atividade do teclado, capturam apenas timing e ritmo, não as teclas realmente pressionadas
- Avaliam padrões comportamentais agregados, em vez de ações individuais
- Os sinais comportamentais são usados apenas internamente nos sistemas de detecção de bots da Cloudflare
- Não são expostos diretamente no painel do cliente
- Não são vinculados a contas de usuário, identidades de login ou perfis permanentes
- Com isso, a avaliação comportamental é atualizada continuamente enquanto se reduz o atrito imposto a usuários legítimos
Security Analytics baseado em sessão
- O Security Analytics ganhou uma visualização baseada em sessão, que mostra a jornada completa do visitante em vez de requisições individuais
- No painel, é possível investigar as seguintes perguntas
- Como é uma sessão típica do site
- Onde estão os desvios em relação ao comportamento esperado
- Quais sessões mostram sinais de automação ao longo do tempo
- Comportamentos entre requisições, difíceis de capturar com análise por requisição, também passam a ser analisados
- Como os dados do Precursor são enviados diretamente para a pontuação de bot existente, as decisões de Challenge e as regras de segurança, o contexto adicional de sessão pode ser usado imediatamente nos sistemas de defesa existentes
Expansão futura e como ativar
- O Precursor é uma base para expandir a detecção de bots para toda a aplicação, e a Cloudflare pretende continuar ampliando as seguintes áreas
- O alcance e a profundidade dos sinais comportamentais usados em segurança
- A forma como informações em nível de sessão afetam a proteção do gerenciamento de bots
- Novas maneiras de visualizar dados de sessão e agir sobre eles
- À medida que os bots evoluem, a detecção também precisa sair de pontos de verificação isolados e lidar com o fluxo completo da atividade do usuário
- Atualmente, é possível ativar o Precursor por zona no painel da Cloudflare, e ele é oferecido gratuitamente até o lançamento GA no fim deste ano
- A intensidade da verificação de sessão pode ser escolhida de duas formas
- No modo de baixo atrito, observa o comportamento em segundo plano
- Se for necessária uma sessão totalmente verificada, força um Challenge quando não houver uma sessão existente
- A defesa contra bots existente é reforçada imediatamente após a ativação, sem necessidade de alterar a aplicação
- Se você já usa Bot Management ou Turnstile, o escopo de detecção se expande para além dos pontos de Challenge existentes, incluindo o restante da sessão e a atividade entre os pontos protegidos
1 comentários
Comentários do Hacker News
É preocupante ver a Cloudflare se posicionando como árbitra dos bots, tanto para bloquear quanto para permitir, e isso também não parece saudável para a internet como um todo
Há quase 20 anos lamentamos a necessidade de um meio melhor que publicidade para remunerar criadores de conteúdo, e isso pode ser a resposta
Também há críticas contínuas de que a Anthropic e a OpenAI foram construídas sobre conteúdo roubado, então não dá para ignorar essa realidade e querer as duas coisas ao mesmo tempo
Com uma crítica tão genérica, é difícil entender se o problema é a abrangência ampla demais da oferta ou se a crítica é que ninguém oferece serviços parecidos
Parece um tanto estranho a Cloudflare vender produtos de agentes e, ao mesmo tempo, lançar um serviço que parece bloquear o uso de agentes na web
Eles certamente usam muito mais sinais além do trajeto do mouse, mas dispositivos de entrada não tradicionais, como telas sensíveis ao toque ou o TrackPoint dos ThinkPads, já podem dificultar bastante a classificação
Seria grave confundir usuários de ferramentas de mouse para acessibilidade com bots, mas tratá-los como exceção também poderia virar uma rota de bypass para navegação por agentes
Ainda assim, no sentido de reduzir abuso e spam de bots agentes, quase certamente é um bom caminho
É possível oferecer serviços para bots bons usarem e, ao mesmo tempo, ajudar a bloquear bots ruins
Se um bot imita de forma canhestra os movimentos do mouse, isso vira um forte sinal de anomalia; se for um bot bom, ele seguirá o
robots.txte não esconderá que é um botO hCaptcha implementou tudo isso há 6 anos
Não se limitava a diferenciar humanos de bots; também identificava comportamentos de teclado e mouse que apareciam quando a mesma pessoa criava várias contas ou testava vários cartões de crédito
Quando a Cloudflare migrou para o hCaptcha em 2020, essa detecção de abuso estava incluída, e quando saiu do hCaptcha em 2022 eu presumi que ela já tivesse implementado sua própria versão
Ao pesquisar por acessibilidade na página, não há resultados, então essa astrologia de movimentos do mouse parece capaz de excluir completamente pessoas cegas e usuários que usam apenas teclado de uma parte significativa da internet
Se fizerem login e abrirem mão do anonimato, provavelmente serão considerados não bots
Em algumas regiões, sem smartphone não dá nem para fazer check-in em voos, tornando a própria viagem impossível, mas a maioria trata isso como algo normal
Detecção de agentes é uma área emergente e se tornará muito mais importante daqui para frente
Produtos relacionados incluem Foil(https://usefoil.com/), Kasada https://www.kasada.io/, DataDome(https://datadome.co/), Castle(https://castle.io/), Fingerprint(https://fingerprint.com/), HUMAN(http://humansecurity.com/), Google Cloud Fraud Defense(https://cloud.google.com/security/products/fraud-defense?hl=...), que é basicamente o sucessor do reCAPTCHA, e Cloudflare Precursor
Hoje, os principais usos são impedir credential stuffing automatizado, contas falsas e abuso de testes gratuitos com os custos resultantes de SMS da Twilio, fraude em pagamentos, scraping por LLMs e compra automatizada em massa de ingressos e tênis
Fico curioso para saber qual uso vai impulsionar a demanda empresarial, e espero que, em vez de bloquear agentes indiscriminadamente, seja possível detectá-los e encaminhá-los para rotas específicas para agentes, onde possam navegar e realizar tarefas na web em nome dos usuários
Eles oferecem centenas de milhões de IPs residenciais, impressões digitais de navegador semelhantes às humanas e binários de navegador personalizados, e fazem bypass automático quando aparecem Turnstile, reCAPTCHA v3, Kasada, DataDome, AWS WAF etc.
Ele combina profiling e probabilidades de transição entre etapas, permitindo exigir autenticação adicional de agentes, ou bloqueá-los, apenas em áreas específicas de um ativo digital, como um pagamento com risco de chargeback
No momento, o Precursor parece mais focado em detectar scraping que coleta vários documentos do mesmo site
Fico curioso sobre o que poderia bloquear bots ou agentes se eles adicionassem uma leve tremulação para imitar os movimentos do cursor humano.
Imagino que outros sinais também sejam usados, mas esse sinal em particular parece fácil de contornar se o bot ficar só um pouco mais sofisticado.
Mesmo uma clusterização básica de machine learning consegue diferenciar ações de mouse, teclado e toque de bots das de humanos, mas também há uma grande chance de discriminar pessoas com deficiência que usam recursos assistivos como rastreamento ocular.
O comportamento de uma pessoa que usa apenas uma mão pode ser bem diferente do de um usuário típico, e hoje, nos EUA, a aplicação da ADA é fraca fora da California, Illinois e NY.
Uma empresa influente como a Cloudflare precisa filtrar de forma conservadora para que pessoas com deficiência não sejam prejudicadas por essa análise comportamental.
Não dá para transferir a responsabilidade dizendo “apenas fornecemos uma pontuação de probabilidade de ser bot, e cada site define seu próprio limite” e depois afirmar que o bloqueio de pessoas com deficiência foi culpa do site por ter definido um limite rigoroso demais.
Nessa escala, é preciso assumir responsabilidade até pelos efeitos secundários e terciários das decisões.
Esses dados conseguem diferenciar não só bots, mas também gênero, mão dominante, idade aproximada, idioma nativo com base em padrões de digitação, lesões e processo de recuperação, além de deficiências mentais e físicas.
Pela forma como alguém navega em um site, também dá para inferir ADHD, esquizofrenia, doença de Parkinson, uso de medicamentos e efeitos do tratamento; por isso, é muito difícil imitar todos esses sinais de modo a cair no mesmo cluster de uma pessoa típica.
Pode funcionar no curto prazo, mas com o tempo surgem padrões claros; e como também há dados variados de tremulação por site e layout específicos, fica fácil detectar imitação artificial.
Mesmo o mesmo usuário se movimenta de forma diferente dependendo do dispositivo de entrada.
No PC de trabalho uso mouse, no notebook pessoal uso touchpad, e no notebook de trabalho uso o trackpoint do ThinkPad; então uma única pessoa acaba tendo três perfis comportamentais.
Deve ser diferente dos movimentos de uma IA, mas, se a impressão digital dos movimentos do mouse virar mais uma barreira, podem aparecer muitos outliers interessantes.
A Cloudflare não deveria fingir que protege a internet.
https://developers.cloudflare.com/browser-run/quick-actions/...
Essa empresa é como uma companhia que vende cigarros e também constrói hospitais.
Estou ansioso pelo dia em que a Cloudflare vender os dados sobre o estado do meu pulso para seguradoras. Que ótimo esse inferno de vigilância que nós mesmos criamos.
Ultimamente, por causa de falsos positivos da Cloudflare, muitas vezes a sessão fica carregando sem parar e nunca chega à página real.
Se eles continuarem lançando todos os dias novas soluções feitas no achismo, temo que isso também afete negativamente a qualidade do serviço.