O declínio da Busca do Google por “mil cortes”
(matt-rickard.com)- Com o aumento das restrições de acesso em grandes sites, como a mudança do Reddit para comunidades privadas e o login obrigatório/limites de velocidade do Twitter, muitos links nos resultados da Busca do Google acabam não abrindo de fato
- À medida que grandes modelos de linguagem são treinados com dados públicos, sites de conteúdo passam a ter incentivo para vender ou usar diretamente seus dados, em vez de continuar mantendo-os abertos
- Essas restrições podem impedir ou complicar a coleta do índice de busca do Google e também afetar a obtenção de dados para treinamento de modelos de IA
- Se até sites que aparecem com frequência nos resultados de busca, como a Wikipedia, passarem a cobrar ou limitar o acesso via API, as fontes essenciais da Busca do Google também podem ser abaladas
- Mesmo que o Google reforce os resultados com respostas de IA, se os dados migrarem para trás de barreiras de login e paywalls, a qualidade da busca pode piorar gradualmente ao longo de vários anos
Restrições de acesso transformam resultados de busca em links mortos
- Algumas comunidades do Reddit ainda permanecem privadas em protesto contra as novas regras da API
- O Twitter está reforçando a barreira de login e aplicando limites de velocidade aos usuários
- Com essa mudança, milhões de resultados de busca que permanecem no índice do Google se tornam, na prática, links mortos
- Usuários que buscavam resultados do Reddit no Google perdem uma alternativa em um contexto em que a própria busca do Reddit é percebida como inferior
- Links para tweets nos resultados de busca levam muitos usuários a uma tela exigindo login
O controle de dados na era da IA pressiona o índice do Google
- Grandes modelos de linguagem são treinados com dados públicos coletados por APIs, e sites com muito conteúdo têm maior probabilidade de ser afetados por modelos treinados com seus próprios dados
- Esses sites podem considerar duas opções depois de restringir o acesso aos dados
- Vender os dados
- Treinar seus próprios modelos
- Restrições de acesso impedem ou complicam o processo de coleta automática de dados do Google para a busca e também afetam a obtenção de dados para treinamento de modelos
- A Busca do Google pode sofrer mil cortes, perdendo resultados site por site
-
Se a Wikipedia impuser restrições
- Estima-se que a Wikipedia apareça na primeira página em 99% das buscas no Google
- Cobrar ou limitar o acesso via API pode ter um grande impacto nos resultados de busca
- Os dados da Wikipedia são um conjunto de dados incluído nos corpora de praticamente todos os grandes modelos de linguagem
- A Wikimedia Foundation vem solicitando apoio financeiro por meio de banners de doação e, em 2021, lançou um produto de API empresarial chamado Wikimedia Enterprise
- À medida que os resultados de busca se tornam links mortos um a um e são removidos do índice, os usuários passam a depender mais da busca específica por site dentro de serviços fechados
- O Google pode tentar reforçar os resultados com respostas geradas por IA, mas nem todas as respostas podem ser boas o suficiente, e os dados de treinamento também podem migrar para trás de barreiras de login ou paywalls
- Até que surja uma nova alternativa, a busca pode piorar gradualmente ao longo de vários anos
1 comentários
Opiniões do Hacker News
Tenho a sensação de que a Busca do Google já vem morrendo lentamente há muito tempo
Antes dava para encontrar informações concisas como documentação, posts de fórum e wikis, mas agora só aparecem textos de marketing otimizados para mecanismos de busca, fazendas de links, clickbait, textos enormes com milhares de palavras que não dizem nada, discursos políticos intermináveis sem contexto para quem não é americano, e uma quantidade absurda de anúncios
Isso parece ser um resultado criado diretamente pelos anúncios do Google e pelo próprio algoritmo de busca do Google, e por isso perguntar a um LLM é muito mais atraente do que pesquisar. Se não fossem as alucinações, a IA conseguiria eliminar o ruído e extrair a informação real
A web não é mais um lugar para pessoas ou para buscar informação, mas para bots, crawlers, algoritmos do Google e marketing, e ficou difícil demais para humanos absorverem isso, então acabam esperando da IA resultados mais concisos e diretos
Só mostrava receitas de spam de blog para fazer sopa de repolho enlatada manualmente, por meio de uma interface de recomendações em blocos, sem links normais em texto e sem produtos reais de sopa enlatada. Mesmo olhando várias páginas, nada mudava
Curiosamente, ao pesquisar por "canned cabbage soup history", voltou para o modo normal de resultados e apareceram produtos e a Wikipedia. Se for uma busca com intenção clara de comprar um produto, faz mais sentido comercialmente que o Google estrague isso com uma busca especial esquisita, mas não entendo por que existe esse modo de "fornecer spam de blog"
E agora vejo pelo menos umas cinco vezes por dia a tela perguntando se sou um robô
O que eu quero é uma lista de links para lugares com informação relevante, e não que o buscador resuma ou refine o conteúdo. Se eu não ler e entender por conta própria, muito conhecimento e contexto se perdem
O usuário pode receber uma resposta curta e precisa sem passar por anúncios, e isso se parece com o que a web era há muito tempo
Enquanto isso, sites de spam que copiam o Stack Overflow e sites como Canva e Pinterest, que criam milhares de páginas parecidas mudando só um pouco o título, continuam sendo permitidos pelo Google e aparecem no topo
Também odeio as 10 primeiras páginas que aparecem quando você pesquisa algo como "best domain name registrar". Eu queria ver registradores de domínio de verdade, não posts de blog cheios de links de afiliado, e o ChatGPT faz isso
O Google foi manipulado demais, e parece não mexer nisso de verdade talvez porque esses posts de blog spam exibem anúncios deles. Existem dicas de filtragem do uBlock Origin que aprendi no HN, mas a busca em si é algo que o Google precisa consertar. Hoje conteúdo útil é bloqueado e conteúdo spam fica no topo do ranking
Antes já irritavam truques como palavras-chave em fonte minúscula e transparente, visíveis para crawlers mas não para usuários, mas no momento em que manipular mecanismos de busca virou profissão, ficou claro que o fim da busca estava começando
No fim, provavelmente vamos voltar para webrings e índices de links, e isso também vai ser integrado, cobrado em excesso e depois abandonado. Com sorte, nos anos 2040 talvez voltemos aos BBS por linha discada
Mas o Google, mesmo podendo contratar pessoas para fazer esse trabalho bem, parece insistir em treinar IA para não conseguir fazer a mesma coisa
Parece uma função simples, mas o Google já se perdeu há muito tempo
Ele bloqueia e esconde sites-clone em vários mecanismos de busca. Também pode ser usado junto com o uBlacklist
Isso é uma falha de inovação do Google
O objetivo do Google era "organizar as informações do mundo", mas ele não conseguiu criar uma Wikipedia, um repositório de informações curadas de alta qualidade e agradável para humanos lerem, nem conseguiu criar o ChatGPT, o primeiro LLM bom o bastante para fazer recuperação e organização de informação que não fossem triviais
Depois do sucesso inicial com busca, o Google tentou consolidar sua liderança despejando dinheiro nas "pessoas mais inteligentes" para dificultar a contratação delas pela concorrência. Como resultado, passou a fazer mais sentido usar recursos para preservar sua vantagem existente controlando infraestrutura da internet como Android, Chrome e email, em vez de inovar
A menos que haja uma mudança muito grande, vejo o Google como um morto-vivo. Aqui, "as pessoas mais inteligentes" significa pessoas academicamente bem-sucedidas, mas que seguem bem as regras, têm pouca imaginação e evitam riscos
Só não o lançou ao público, então faz sentido falar em falha de inovação, mas não em falha técnica ou de aprendizado de máquina
https://ai.googleblog.com/2020/01/towards-conversational-age...
Minha leitura é que o Google foi esmagado pelo próprio peso. Multas governamentais e uma estrutura corporativa que passou a temer essas multas desaceleraram o avanço, e é muito difícil lançar mudanças num ambiente assim
O baseline também pesa. As pessoas reagem a mudanças e tratam o estado atual como padrão-ouro. Numa situação dessas, é difícil apresentar mudanças radicais
Acho que a única saída é reduzir o produto. Seja dividindo, seja fragmentando, ele precisa ficar pequeno o bastante em comparação com o restante para deixar de ser o alvo principal. Empresas como Coca Cola e Procter & Gamble fazem isso bem
Tudo o que pode ser politizado acaba sendo politizado, e tudo o que pode ser usado para empurrar o plano ou a visão de alguém acaba sendo usado
Independentemente de má-fé, por ser baseada em voluntários, alguns documentos acabam sem informações relevantes ou com erros
Trabalhando com ciência planetária, eu costumava pesquisar IDs de imagens no Google
Em geral eram imagens específicas de órbita lunar mencionadas em artigos e, claro, existem arquivos especializados para buscar isso, mas o Google surpreendentemente dava bons resultados
Agora, ao pesquisar um ID de imagem, o resultado literal é zero. Não sei o que mudou. Fico me perguntando se removeram o índice do Planetary Data System ou o índice de artigos de ciência planetária
Pior do que não haver nenhum resultado é quando continuam aparecendo em todas as páginas "resultados" com números ou códigos um pouco diferentes
Agora não há resultado ou só aparecem textos de SEO sem relação
Edit: deixei passar que a busca era por ID de imagem, não pela imagem em si
Antes disso, a maioria dos modelos de embeddings de palavras era monolíngue e não levava contexto em conta, então não era útil para busca, e por isso o Google precisava usar índice invertido e algoritmos ajustados ao longo de anos
Depois do BERT, dá para criar modelos que fazem embedding de consultas de busca de 99,99% da linguagem, e aparentemente consideram suficiente que isso funcione mais ou menos bem para 99% das consultas
Teria sido relativamente fácil detectar quais consultas funcionavam melhor no índice antigo do que no novo método, mas parece que não fizeram isso, e como resultado muita utilidade, como buscar números de telefone, se perdeu
A morte do Google vai mais fundo do que um problema de corpus; o algoritmo de ranking também está piorando muito
Há uma semana, a busca por
< James Palmer manchester foreign policy >não colocava https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... na primeira página, mas< James Palmer manchester site:foreignpolicy.com >encontravaHoje parece ter sido corrigido, mas é difícil imaginar que o Google de alguns anos atrás não conseguisse satisfazer nem mesmo uma intenção de busca tão de jardim de infância
https://twitter.com/BeijingPalmer/status/1670904508191322112
https://twitter.com/shalmanese/status/1670973880637493249
Isso é a versão da internet da tragédia dos comuns: https://en.wikipedia.org/wiki/Tragedy_of_the_commons
gente e grupos demais estão tentando lucrar com o mínimo de esforço possível, enquanto recursos compartilhados como dados de acesso livre, APIs abertas e software FLOSS estão sendo explorados sem considerar os efeitos de longo prazo
dados podem ser copiados infinitamente, mas alguém precisa criá-los em primeiro lugar, e se não forem atualizados envelhecem e perdem utilidade. Se ninguém tiver vontade e capacidade de criá-los ou renová-los, o que é bom desaparece e a relação sinal-ruído desaba rapidamente. Tudo vira ruído e fica horrível
muita tecnologia e cultura foi criada sem esse tipo de "proteção". Às vezes fico me perguntando como a história recente teria sido sem direitos autorais e patentes
Há muito tempo o Google era muito útil mesmo sem Reddit
havia um motivo para ter virado uma megacorporação: ele realmente fazia ferramentas e serviços bons de usar. As pessoas usavam porque os produtos eram bons, e Search, Gmail, Maps, Translate e afins eram joias
não sei se deixaram a busca apodrecer ou se a quebraram de propósito, mas ela de fato piorou independentemente do Reddit. O Reddit tem muita informação, mas não é o único site da internet
ainda assim, o Google parece indexar só os 150~200 maiores sites da internet, e mesmo nesses resultados muitas vezes faltam os termos da busca
todo mundo percebeu que dava para ganhar dinheiro com pageviews e otimização para mecanismos de busca, e surgiu uma corrida para o fundo do poço para ficar em 1º lugar em toda busca
mesmo se o Google abordasse isso de forma totalmente centrada no usuário, ainda pareceria um problema difícil de resolver, e além disso o Google pós-Sundar virou basicamente a IBM/Oracle. Então está girando em direção ao ralo em velocidade dobrada
no momento em que começaram a pagar as pessoas para manipular o próprio mecanismo de busca, ou seja, quando introduziram o AdSense, tudo entrou no caminho da inutilidade. Esses incentivos já existiam de certa forma, mas o Google colocou um turbo nisso com um incentivo de US$ 33 bilhões em 2022
se a receita de anúncios em busca sobe, então a busca parece estar bem, nem podre nem quebrada
você está supondo que o Google trata os usuários como clientes, mas na prática pode tratá-los como um recurso natural explorável
A Wikipedia tem dumps de dados para download, quase não custa nada fornecê-los ao Google, e também tem uma missão institucional de deixar esses dados públicos
mesmo que decidisse cobrar pelo acesso, o Google provavelmente conseguiria pagar. Melhor não lançar hipóteses totalmente irreais
relacionado ao artigo também, versões mal-feitas e cheias de anúncios pertencentes a grupos de fazendas de links dificultavam ranquear o Redactle no Google. Muitas delas fingiam ser minha marca "Redactle Unlimited"
o Google parece preferir pacotes de sites de spam que se linkam entre si a milhares de links vindos de usuários verificados no Reddit, Facebook etc.
mas e se a Wikipedia exigisse 10% da receita sempre que seus dados fossem usados para mostrar resultados de busca? Fico curioso se o Google concordaria ou se criaria um concorrente da Wikipedia para matar quatro anos depois
o sistema é complexo demais, então é muito difícil prever como algumas partes vão agir quando forem afetadas por outras restrições. Estão todos entrelaçados: scraping de dados do Reddit pela OpenAI, a vontade do Reddit de monetizar, moderadores do Reddit protestando contra as regras, o blackout de 2 dias sendo estendido indefinidamente, e a situação em que um artigo de LLM publicado pelo Google acaba afetando o próprio negócio via ChatGPT
O verdadeiro metaproblema aqui é a velha questão de como financiar serviços web, incluindo busca
Google, Twitter, Reddit e Gfycat são todos variações imediatas do mesmo problema, e não existe solução técnica para isso. A ideia ingênua de que tudo isso pode ser gratuito é absurda, especialmente quando se defende isso dentro de um ecossistema sustentado por receita publicitária
alguém precisa pagar os custos de desenvolvimento e operação, e normalmente quem paga fica com o poder de decisão, o que leva ao desastre de UX moderno
pelo menos por enquanto, graças à situação do capital de risco, houve uma redução muito grande no dumping de produto de fato voltado a destruir o mercado de participantes legítimos
passa a ser para quem paga, ou seja, os investidores
O problema do Google agora não é Reddit nem Twitter
o Google virou uma marca cheia de resultados realmente péssimos e campanhas de AdWords, e nem está claro pelo que os profissionais de marketing estão pagando
parece que é preciso voltar ao artigo original do Brin e do Page: https://research.google/pubs/pub334/
o Google ainda faz coisas incríveis como AlphaZero e Project Zero, mas dá a sensação de que, como no antigo Xerox PARC, a organização já não produz nada realmente novo
ao mesmo tempo, o Google Workspace, por exemplo Sheets e Docs, é um bom concorrente na área de escritório. A execução do negócio é boa, mas a busca do Google Drive é péssima