Web scraping para mim, mas não para você

• Artigo sobre a complexidade jurídica e a hipocrisia em torno do web scraping
• Como grandes empresas como Meta e Microsoft proíbem o web scraping em suas próprias plataformas, enquanto ao mesmo tempo coletam dados de plataformas de outras empresas
• A complexidade das questões legais sobre acessar e usar dados na internet, bem como sobre a finalidade desse uso. Existem formas de dados protegidas por direitos autorais ou outras formas de propriedade intelectual, mas a maior parte dos dados da internet não recebe proteção com facilidade
• Empresas de mídia social como LinkedIn e Facebook são as que mais agressivamente movem ações contra web scraping. No entanto, o conteúdo que elas dizem proteger foi gerado pelos usuários e não é propriedade delas
• Nos primórdios da internet, as empresas usavam teorias jurídicas para tentar impedir o web scraping como se fosse uma invasão de bens. Ou seja, argumentavam que solicitações massivas e indesejadas de dados constituíam uma forma de invasão à propriedade física de alguém, isto é, aos servidores de computador
• Do início dos anos 2000 até 2017, o Computer Fraud and Abuse Act (CFAA) foi a principal base jurídica para impedir o web scraping. O CFAA proíbe acesso não autorizado a um "computador protegido"
• No caso hiQ Labs, Inc. v. LinkedIn Corp., de 2017, foi reconhecido o direito de um scraper de acessar dados públicos do LinkedIn sob o CFAA, o que levou muitos a interpretar isso como um direito positivo de fazer scraping de dados públicos
• Atualmente, a principal forma de barrar o web scraping é por meio de alegações de violação contratual. Isso permite que empresas reivindiquem, via direito contratual, direitos de propriedade sobre o uso e o acesso aos dados
• A mudança do direito de propriedade para o direito contratual permite que donos de sites definam seus direitos sobre dados online por meio de termos de uso online
• O artigo destaca a hipocrisia de empresas como a Microsoft. Recentemente, ela atualizou os termos de uso para proibir scraping de serviços de IA, mas sua afiliada OpenAI lançou produtos projetados para fazer scraping da internet inteira
• O autor critica o fato de os tribunais permitirem que empresas privadas criem direitos de propriedade intelectual por meio de contratos de adesão, argumentando que essas decisões deveriam ser tratadas como questões de interesse público
• O artigo sugere que o atual regime jurídico do web scraping será testado pelos casos de IA generativa, prevendo que a coerência da lei não poderá ser mantida e que haverá desenvolvimentos jurídicos importantes nos próximos anos

[GN⁺]

Comentários do Hacker News

• A recente corrida de IA e LLM aumentou as preocupações com web scraping, e figuras e empresas importantes de tecnologia estão reforçando suas defesas contra a ameaça percebida.
• Para amenizar o medo em torno da coleta de dados, é necessária uma nova interpretação de direitos autorais para aplicações comerciais de IA.
• O caso HiQ vs. LinkedIn é citado com frequência em discussões sobre web scraping, mas os detalhes do caso são complexos e muitas vezes ignorados.
• A aparente hipocrisia de empresas que coletam dados enquanto proíbem a coleta dos próprios dados pode ser entendida como uma estratégia competitiva, e não como uma contradição.
• A mudança do direito de propriedade para o direito contratual permitiu que donos de sites definissem seus próprios direitos, o que levou à proliferação de “contratos” unilaterais por parte de grandes empresas.
• O caso recente da Microsoft, que lançou um produto projetado para coletar dados da internet enquanto proibia scraping, foi apontado como exemplo de hipocrisia corporativa.
• O web scraping é visto como um problema de modelo de negócios, especialmente por causa da escala, e provedores de conteúdo gratuito que dependem de receita publicitária se sentem ameaçados por scraping que contorna anúncios.
• A propriedade de conteúdo gerado por usuários em plataformas como o Facebook é complexa, e os usuários mantêm a titularidade enquanto concedem às plataformas amplos direitos de uso.
• Os obstáculos legais ao web scraping geralmente são considerados prejudiciais, mas também há pessoas que sofreram impactos negativos de scraping, como no caso de e-mails de spam.