1 pontos por GN⁺ 1 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Proxies residenciais desviam o tráfego por endereços domésticos ou endpoints de rede semelhantes, crescendo junto com a demanda de scraping que tenta contornar bloqueios de IPs de datacenters
  • Sites precisam manter o acesso aberto para usuários comuns enquanto filtram tráfego automatizado indesejado, e varreduras baseadas em um único IP ou em servidores de nuvem tendem a ser bloqueadas rapidamente
  • Redes de proxy podem ser criadas por meio de SDKs embutidos em apps, telas de consentimento insuficientes, invasão de roteadores e dispositivos baratos com malware pré-instalado; usuários podem se tornar parte de uma botnet sem saber
  • Quando redes domésticas ou corporativas viram nós de saída de proxy, surgem riscos como consumo de banda, bloqueio de acesso a sites, possibilidade de visita de autoridades investigativas e acesso à rede interna
  • Em casa, é necessário separar dispositivos importantes e monitorar o volume de tráfego; nas empresas, bloquear dispositivos não identificados, usar DNS protegido, inteligência de ameaças e inspeção de tráfego são meios de defesa realistas

Por que proxies residenciais são usados

  • Proxies residenciais normalmente se referem a proxies instalados em endereços domésticos e são usados em atividades como scraping de sites
  • Serviços de internet precisam oferecer serviço ao público em geral e, ao mesmo tempo, detectar e remover tráfego indesejado
  • Monitorar grandes sites a partir de um único endereço IP muitas vezes leva a bloqueio rápido
  • Mesmo ampliando a varredura para IPs de servidores de vários provedores de nuvem, o tráfego de datacenter tende a ser bloqueado em massa
  • A alternativa que explora essa brecha é alugar endpoints residenciais

Entre uso legítimo e abuso

  • Scraping pode ser uma atividade indesejada, mas nem sempre é ilegal por si só
  • No entanto, scraping intensivo se torna um problema operacional contra o qual os sites precisam se defender
  • Os usos vão de casos legítimos, como monitoramento de rede pago, até abusos criminosos
  • Criminosos que querem atacar sites também podem usar proxies residenciais para ocultar rastros
  • A disseminação de IA e agentes de IA aumenta ainda mais a demanda
    • Fornecedores de IA querem usar conteúdo da internet para treinamento
    • Usuários de IA querem dar às ferramentas o mesmo acesso irrestrito de que desfrutam
    • Acredita-se hoje que bots gerem mais tráfego de internet do que humanos

Tentativas de pagamento para mudar a economia do scraping

  • Uma possível solução mencionada é ajustar a economia do scraping fazendo bots pagarem pelo custo de acesso
  • Em 2025, a Cloudflare apresentou a ideia de pay-per-crawl e, depois, criou o padrão x402 com a Coinbase
  • A AWS recentemente adicionou suporte a esse protocolo de pagamento em seu produto WAF

Como as redes são construídas: SDKs e consentimento insuficiente

  • Operar proxies residenciais exige muitos endpoints de rede espalhados pelo mundo
  • Algumas abordagens assumem uma forma aparentemente legítima
    • Criam kits de desenvolvimento de software para dispositivos existentes em grande escala, como celulares e TVs
    • Pagam desenvolvedores de apps para incluir o software de proxy em seus aplicativos
    • No pior caso, o código de proxy é distribuído silenciosamente junto com apps gratuitos
    • Mesmo no melhor caso, uma tela de consentimento é mostrada ao usuário final, pedindo opt-in para operar um nó de saída de proxy, mas fica a dúvida se esse consentimento foi suficientemente compreendido
  • Um relatório da Include Security sobre como smart TVs se tornam nós da economia de scraping de IA explica essa estrutura
  • Segundo a Synthient, a maioria das vítimas são moradores

Formas ilegais de construção: invasão de roteadores e malware pré-instalado

  • Outra abordagem é criar a rede por todos os meios possíveis, incluindo métodos ilegais
  • Invadir roteadores continua sendo uma forma eficaz de construção
  • Há casos documentados de alguns dispositivos baratos vendidos com malware de proxy residencial pré-instalado
  • Um usuário pode comprar um porta-retrato digital para fotos da família, mas ele pode, na prática, agir como um cavalo de Troia e virar parte de uma botnet
  • A KrebsOnSecurity publicou uma reportagem aprofundada sobre o funcionamento dessas redes

Danos às redes domésticas

  • Com sorte, o impacto pode se limitar a alguém fazendo scraping a partir do endereço IP do usuário e consumindo apenas parte da banda
  • Se o endereço IP for associado a uma rede de proxy residencial, o usuário pode deixar de conseguir acessar alguns sites
  • Em casos piores, alguém pode usar o endereço IP do usuário como ponto intermediário para ciberataques, levando a uma visita do FBI ou de autoridades governamentais locais
  • Redes de proxy residencial são cada vez mais usadas por criminosos como passagem para acessar a rede interna

Risco de acesso à rede interna

  • Alguns provedores afirmam restringir o acesso a endereços IP privados, mas esse código costuma não ser bem escrito
  • Muitos dispositivos baseados em Android parecem sair de fábrica com o Android Debug Bridge, projetado para solução de problemas pelos fabricantes
  • Dentro da mesma rede, esses dispositivos podem ser rooteados rapidamente
  • Também há cada vez mais indícios de tráfego de proxies residenciais em redes corporativas
  • Um relatório da Infoblox afirma que até 65% dos clientes de seu serviço de DNS protegido apresentam tráfego rumo a redes de proxy residencial
    • Taxa de detecção entre clientes: {p:65}

Pontos de defesa para residências e empresas

  • Em casa, é possível considerar o uso de redes virtuais para separar dispositivos importantes dos demais
  • Monitorar o volume de tráfego também ajuda
  • Porém, se alguém dentro de casa puder instalar um novo app na TV, não há solução garantida
  • Em ambientes corporativos, o ideal é não permitir dispositivos desconhecidos na rede, mas isso não é fácil de implementar na prática
  • Serviços de DNS protegido que conhecem redes de proxy residencial comuns ajudam a conter esse tráfego e a encontrar dispositivos problemáticos
  • Alguns dispositivos podem contornar o DNS e se conectar diretamente a endereços IP hardcoded
  • Nesses casos, são necessárias boa inteligência de ameaças e inspeção e monitoramento do tráfego corporativo

1 comentários

 
GN⁺ 1 시간 전
Comentários no Lobste.rs
  • Fico meio cínico, me perguntando quem tornou esse mercado viável 🙄

    • Na prática, o problema de ~~proxies residenciais~~ botnets é resultado de décadas de negligência de toda a indústria
      Centenas de milhões de dispositivos IoT, smart TVs e equipamentos de rede não recebem mais atualizações, e em muitos casos o fabricante até desapareceu
      Alguns já saíram de fábrica com malware, mas a maioria foi simplesmente abandonada, virando um problema de todos sem ser responsabilidade de ninguém
    • Acho que isso vem desde quando a Netflix começou a forçar bloqueios mais agressivos contra VPNs, lá nos anos 2010
  • Fiquei curioso se existe uma forma fácil de detectar se os dispositivos da rede doméstica estão fazendo esse tipo de coisa, sem ser por monitoramento man-in-the-middle

    • Não conheço um jeito fácil, mas o artigo do Krebs on Security linkado nesta newsletter leva de novo para uma ferramenta fornecida pela Synthient
      Essa ferramenta aparentemente verifica se o meu endereço IP, ou outro IP, tem sinais de uso como proxy residencial
      Não sei qual é a precisão, e parece possível que usar IP dinâmico afete o resultado
  • Quando li o trecho dizendo que “muitos dispositivos baseados em Android saem de fábrica com o Android Debug Bridge ligado para resolução de problemas do fabricante, e que é fácil fazer root no aparelho a partir da mesma rede”, perdi a confiança na hora

    • Isso realmente acontece
      Em laboratório, usar adb remote no dispositivo é muito conveniente ao testar builds novas ou depurar, e em cenários de desenvolvimento iterativo rápido dá trabalho manter builds separadas para desenvolvimento e para distribuição ao cliente
      Eu mesmo já impedi que um dispositivo com ADB escancarado fosse enviado, e na época fiz bastante barulho sobre isso
      Consigo imaginar outros lugares simplesmente deixando passar
  • Uma das empresas que vende proxies residenciais é a Bright Data, e ela também aparece no artigo linkado
    Segundo o texto, eles usam a rota via SDK, embutindo o proxy dentro do SDK que fornecem
    Meta e X tentaram enfrentar isso, mas perderam