- O Reddit passou a exigir login por considerar o uso deslogado do Old Reddit uma das principais fontes de scraping malicioso e tráfego automatizado, mas o New Reddit ainda pode ser acessado sem login
- O Old Reddit entrega posts e comentários em sua maioria como HTML simples, baixando cerca de 1 MB e enviando 0,5 MB, enquanto o New Reddit, que exige JavaScript, carrega cerca de 5 vezes mais dados
- Em testes limitados no navegador, o New Reddit também conseguiu fornecer o texto dos comentários apenas com parte do JavaScript e requisições da API de comentários, então não foi confirmado se essa mudança realmente bloqueia o scraping
- O Old Reddit carrega 200 comentários logo de início, enquanto o New Reddit carrega só 25 e, mesmo após rolagem, fica em cerca de 35, o que deixa claro por que scrapers preferem o Old Reddit mais enxuto
- Em vez de usar a justificativa vaga de “segurança”, o Reddit deveria ter dito diretamente que o objetivo era conter scraping ou encerrar o serviço, e forçar login cria uma barreira desnecessária para usuários que só querem ler resultados de busca escritos por pessoas
Reddit e resultados de busca escritos por pessoas
- O Reddit é visto como uma empresa que hospeda inúmeros fóruns populares e extrai o máximo de valor possível das comunidades criadas pelos usuários
- Com os dados gerados por humanos na era dos LLMs ganhando alto valor, os posts das comunidades do Reddit se tornaram um ativo ainda mais importante
- A antiga polêmica da API do Reddit também foi um caso de tentativa de capturar valor da comunidade
- Ao adicionar
site: reddit.coma uma busca, ficava mais fácil encontrar resultados realmente escritos por pessoas, então, mesmo sem usar ativamente o Reddit, ainda valia a pena visitar os resultados
Exigência de login no Old Reddit
old.reddit.comé o frontend que oferece o design antigo do Reddit, mas agora está difícil usá-lo normalmente sem estar logado- Um pequeno grupo de usuários que usa Firefox e NoScript já passou repetidamente pela experiência de ser empurrado para fora de produtos que funcionavam normalmente por causa do fim do suporte
- Um celular de 8 anos e um tablet de 10 anos deixaram de poder ser usados porque seus sistemas operacionais eram antigos demais
- A API usada pelo app do Stack Exchange, que desapareceu da app store, também foi descontinuada
- O Reddit informou que a medida foi tomada “para manter o Reddit seguro”, mas não está claro que ameaça os usuários que só querem acessar conhecimento representam para a plataforma
O problema de scraping apontado pelo Reddit
- Segundo o anúncio oficial do Reddit, o uso deslogado do Old Reddit é uma das principais fontes de scraping malicioso e tráfego automatizado
- O New Reddit ainda pode ser acessado sem login, então permanece a dúvida sobre por que apenas o Old Reddit foi restringido
- Comentários relacionados dizem que os métodos de tráfego malicioso seguem mudando, com bloqueio e evasão se repetindo, e que a detecção posterior é fácil, mas o bloqueio preventivo é difícil
- Surgiu a interpretação de que o Old Reddit não tem uma stack de segurança moderna, o que dificultaria mais a resposta ao tráfego automatizado, e um administrador do Reddit apontou isso como resposta
Funcionamento e volume de tráfego do Old Reddit
- Ao investigar a thread de anúncio após fazer login, constatou-se que o Old Reddit entrega a maior parte do conteúdo dos usuários como HTML simples
- Fora o carregamento de comentários adicionais, a página pode ser lida mesmo sem JavaScript
- A página medida baixou cerca de 1 MB e enviou 0,5 MB, com a maior parte da resposta sendo HTML
- A resposta levou cerca de 2 segundos e foi aproximadamente 4 vezes mais lenta que o GitHub para esse tamanho
- Não foi possível confirmar se isso se devia a limitação de velocidade ou se o Reddit já é naturalmente lento
- As requisições de comentários adicionais foram tratadas de forma enxuta e rápida, e não foi encontrado nenhum problema de segurança claramente diferente do de páginas web comuns
Dependência de JavaScript no New Reddit
- Sem JavaScript, o New Reddit quase não consegue carregar conteúdo além do post
- O volume total carregado foi de cerca de 5 vezes o do Old Reddit; em vez de contornar exatamente o mecanismo de segurança, o teste foi feito deixando apenas as requisições mínimas necessárias no navegador para buscar o conteúdo
- Mesmo permitindo só as requisições abaixo, a página em si carregou
- Ao aplicar o filtro, o botão de comentários adicionais ficou travado em carregamento, mas a resposta da requisição continha o texto dos comentários
- Como é possível obter as informações dos comentários apenas executando o JavaScript da página e enviando as requisições necessárias, não está claro se a execução de JavaScript é de fato a barreira principal contra scrapers
Captcha e envio do comportamento do usuário
- Ao recarregar a página várias vezes e carregar comentários e respostas, quase nada falhou
- Em um experimento no qual o filtro de requisições foi removido, um campo de captcha foi enviado como parâmetro de consulta junto com um redirecionamento, mas o mesmo comportamento não pôde ser reproduzido
- Também não foi confirmado se o captcha aparece ao repetir chamadas diretas à API de comentários
- O New Reddit envia ao Reddit sinais de heartbeat sempre que o usuário rola a página ou move o cursor
Limites da eficácia contra scraping
- Em vez de um problema de segurança do frontend em si, isso parece ser uma medida para dificultar o scraping de dados valiosos gerados por usuários
- Isso não prova que ainda seja possível fazer scraping do New Reddit, e continua possível que seja mais difícil do que no Old Reddit
- Há razões claras para scrapers preferirem o Old Reddit: a página é mais enxuta e o carregamento inicial de comentários é maior
- O Old Reddit carrega 200 comentários desde o início
- O New Reddit carrega só 25 no começo e, ao rolar, aumenta automaticamente para cerca de 35
- O New Reddit trocou a interface antiga centrada em HTML simples por uma estrutura cerca de 5 vezes mais pesada, dependente de web components e outros recursos, o que faz o navegador receber mais dados e executar mais trabalho
- Isso pode ter aumentado a carga do navegador e também o custo do scraping, mas o efeito real de bloqueio não foi confirmado
Reação à justificativa de “segurança”
- Se o Reddit tivesse simplesmente aplicado silenciosamente respostas 30X ou 40X em
old.reddit.com, ou dito que iria removê-lo por ter poucos usuários, isso seria desagradável, mas previsível - O que gerou reação maior foi tirar uma forma de acesso que funcionava normalmente usando uma justificativa vaga de segurança e scraping sem relação direta com o usuário real
- Em casos como o Anubis, em que a necessidade parece razoável, ainda haveria disposição para ativar JavaScript; o centro da insatisfação não é o JavaScript em si, mas a discrepância entre explicação e medida
- Blogs pessoais também oferecem texto em HTML simples como o Old Reddit, mas, diferente do conteúdo gerado por usuários no Reddit, ali o conteúdo originalmente pertence ao próprio operador
Opções restantes e preocupações
- Ainda é possível fazer login, mas permanece a insatisfação com a imposição de um procedimento que antes era desnecessário
- Pode ser preciso usar o New Reddit, e não se sabe se o Reddit continuará mantendo suporte ao Old Reddit
- Há receio de que, se o Reddit considerar viável, no futuro também possa bloquear o acesso deslogado ao New Reddit
- Em vez de um ambiente em que seja preciso passar por LLMs enormes e caros para ler textos reais escritos por pessoas, deseja-se uma internet em que se possa buscar e ler diretamente texto produzido por humanos
- A discussão relacionada também foi publicada no Lobste.rs
1 comentários
Comentários no Lobste.rs
O melhor exemplo da enshittificação das redes sociais é a transição do Reddit antigo para o Reddit novo. A versão antiga é datada, mas rápida, sem firulas, não pesa no navegador, consegue carregar dezenas de respostas, e partes incômodas podem ser melhoradas com ferramentas como RES ou Toolbox
A cada poucos meses tento usar a versão nova de novo, mas mesmo depois de quase 15 anos de conta ainda é difícil me adaptar. Duas barras laterais enormes ocupam espaço, o processo de abrir posts é lento e confuso, e ao carregar blocos de comentários a página às vezes recarrega e faz você perder o contexto
Há recursos bons, como posts com imagem, enquetes e novas ferramentas de moderação, mas ainda assim continuo usando a versão antiga. Também não parece haver chance de a empresa voltar a priorizar a conveniência do usuário, e o fato de a posição de que daria suporte à versão antiga por tempo indeterminado ter recentemente sido enfraquecida para “não por enquanto” é um mau sinal
O /r/rust, onde participo com frequência, também tem grande chance de desmoronar ao perder moderadores e a maioria dos usuários de longa data. À medida que Rust amadureceu e ficou mainstream demais, a qualidade também caiu bastante em relação a 10 anos atrás. O Reddit novo combina mais com a direção que a empresa quer, mas é um produto completamente diferente, sem futuro algum para a web antiga
O problema principal é que o texto promocional não diz “para reduzir a carga de scraping no servidor”, e sim “por segurança”. Hoje em dia, carga de scraping é uma preocupação perfeitamente válida para quem opera sites; o resto pode ser irritação legítima, mas está um pouco distante do problema imediato
O app das luzes Philips Hue também exibiu durante anos um banner dizendo que em breve não seria mais possível controlar as luzes sem conta, “por segurança”. Segurança de verdade é manter toda a comunicação dentro da minha rede, não puxar servidores externos e um sistema externo de autenticação para controlar dispositivos da minha rede doméstica. Felizmente, por enquanto isso ficou só no aviso e ainda funciona bem sem conta
É triste quando sites pequenos sofrem por causa de scrapers, mas eu não consigo ter muita simpatia pelo Reddit. Se Google e outros pagaram fortunas por acesso à API, não vejo motivo para eles não continuarem permitindo acesso sem login enquanto o Old Reddit ainda valer a pena manter. Acho que também já vi redirecionamento para CAPTCHA, então fico me perguntando se seria tão difícil assim adicionar isso ao Old Reddit
Num palpite cínico, alguém colocou um limite de velocidade de 2 segundos no Old Reddit, viu que os números de scraping continuaram iguais, decidiu encerrar, e depois de conflitos internos surgiu esse meio-termo atual
Nessa área, mentiras descaradas são absurdamente comuns e toleradas com frequência demais. Até poucos meses atrás, o Cloudflare mostrava “é preciso revisar a segurança da conexão antes de continuar para example.com”, e só recentemente mudou para algo mais honesto, dizendo que o serviço de bloqueio de bots maliciosos está verificando o usuário
O pretexto do Google para remover XSLT foi parecido. No começo citaram segurança como motivo principal, mas antes mesmo de iniciar a remoção de fato ofereceram uma alternativa totalmente compatível implementada como extensão, invalidando com isso o próprio argumento de segurança. Mesmo assim, na fase real de remoção continuaram dizendo “por segurança”, quando deveriam ter apresentado com honestidade outros motivos legítimos. O que incomoda não é que todos os fabricantes de navegadores quisessem remover XSLT, e sim a forma como o Google vendeu isso
Empresas adoram dizer que qualquer coisa é “pela segurança”. Há muito tempo, numa loja de conveniência, me disseram que eu não podia entrar com uma bolsinha portátil pequena, pela minha segurança e pela dos outros clientes. Talvez dê para bater em alguém com uma bolsa vazia, e talvez já tenha havido assaltos, mas a preocupação real quase certamente era furto
Eu respeitaria muito mais se fossem honestos e trocassem “segurança” por “para manter e aumentar a margem de lucro”. É óbvio que o objetivo de um negócio é ganhar dinheiro
Basta usar frontends de privacidade só para leitura do Reddit, como redlib, libreddit e teddit, junto com plugins de redirecionamento como libredirect. Tirando os desenvolvedores dessas interfaces, ninguém tem motivo para aguentar diretamente o abuso mais recente do Reddit
Usando old.reddit.com, dá para contornar a barreira de login em subreddits 18+ que incluem não só temas sexuais, mas também outros conteúdos sensíveis
Para quem quer acessar certos temas sem ter conta no Reddit, essa mudança é pior. O Reddit ainda é uma fonte enorme de material, então com frequência adiciono site:reddit.com às buscas
O Reddit também removeu a API JSON, bloqueando ferramentas como lurker (https://tangled.org/oppi.li/lurker), que permitiam ver o Reddit sem conta, sem barreira de login e sem JavaScript. Eu sabia que isso acabaria chegando um dia, e parece que dados de alta qualidade gerados por usuários são a muralha defensiva do Reddit
O Old Reddit também não é “seguro” para os interesses comerciais do Reddit. O Reddit novo agora simplesmente se recusa a funcionar no celular e força o download do app, onde bloqueadores de anúncios comuns também não funcionam, então o Reddit pode exercer um controle muito maior do que no navegador. Já o site antigo ainda pode ser usado no celular
Eu também vi muito bot óbvio e marketing promocional tanto no Reddit quanto no HN. Um dos poucos lugares onde ainda interajo online é o lobste.rs, porque parece razoável acreditar que a maioria ali são pessoas de verdade
Depois de ler comentários por um tempo no Reddit novo no celular, aparece uma barreira de instalação do app que não pode ser fechada, forçando a mensagem de que “o Reddit é melhor no app”. A única forma de evitar isso sem instalar o app é usar o Old Reddit
Pelo visto, ver mais de uma ou duas páginas de um site mobile bem feito é “inseguro”, e encerrar o Old Reddit parece ser uma tentativa de fechar esse buraco na rota de aquisição de instalações do app