Busca do Google tem dificuldade para conter ataque massivo de spam

• Os resultados de busca do Google ficaram expostos por vários dias a um ataque massivo de spam, com vários domínios ranqueando para centenas de milhares de palavras-chave cada um, e a escala total podendo chegar a milhões de consultas
• O ataque parece explorar em conjunto consultas long tail, um algoritmo de busca local mais permissivo e o curto período inicial de exposição de domínios novos
• Alguns domínios de spam começaram a ranquear em 24 a 48 horas após o registro, e um único domínio apareceu para mais de 300.000 frases de palavras-chave
• As páginas de spam distinguem visitantes comuns do Googlebot, mostrando conteúdo apenas para IPs do Google e redirecionando os demais visitantes para outros domínios
• O Google disse em 19 de dezembro que encaminhou o caso à equipe de busca para análise, mas lidar com as brechas na busca local e nas consultas long tail continua sendo um desafio

---

Spam toma conta dos resultados da Busca do Google

• Os resultados de busca do Google sofreram por vários dias um ataque de spam em um nível difícil de controlar
• Vários domínios estão ranqueando cada um para centenas de milhares de palavras-chave, e a escala do ataque pode chegar a milhões de frases de busca
• Segundo Lily Ray, nos 20 primeiros resultados da busca por "craigslist used auto parts", tirando os dois primeiros resultados do Craigslist, todo o resto é spam

As três oportunidades exploradas pelo spam

• Os sites de spam parecem estar aproveitando pelo menos três janelas de oportunidade no sistema de ranqueamento do Google

• Consultas de baixa concorrência

  • Palavras-chave long tail com baixo volume de busca têm menos concorrência e são mais fáceis de ranquear
  • Consultas que acontecem uma vez por mês ou até uma vez por ano têm barreiras de entrada especialmente baixas

• Algoritmo de busca local

  • A busca local atua em pesquisas com componente geográfico, como restaurantes próximos ou horários de cinema
  • Esse algoritmo é mais permissivo, permitindo que até restaurantes locais sem links consigam ranquear

• Curta exposição inicial de domínios novos

  • Muitos domínios de spam foram registrados 24 a 48 horas antes de começarem a ranquear
  • Quando um site é totalmente novo e o Google ainda tem poucos sinais, ele usa estimativas e pode dar mais visibilidade inicial antes de confirmar os sinais reais
  • Os domínios de spam podem aproveitar esse curto período para entrar nos resultados de busca, aparecer para inúmeras consultas e depois desaparecer

Rede de links pode estar sendo usada para descoberta e indexação

• Bill Hartzer revelou uma rede de links entre vários sites de spam por meio de um gráfico de links gerado com a ferramenta de backlinks da Majestic
• O gráfico mostrou vários sites densamente interligados, um padrão comum em redes de links de spam
• Em vez de serem a causa direta do alto ranqueamento, os links podem estar ajudando o Googlebot a descobrir e rastrear novas páginas de spam, permitindo que sejam indexadas por um ou dois dias
• Bill Hartzer também vê como parte do problema o fato de o Google dar mais peso ao conteúdo do que aos links

Combinação de long tail e busca local

• Muitas das consultas para as quais os sites de spam ranqueiam combinam frases long tail com elementos de busca local
• Long tail são expressões com baixa frequência de busca e, por isso, mais fáceis de ranquear
• Se os operadores de spam criarem milhões de páginas long tail, podem aparecer diariamente para centenas de milhares de palavras-chave por um curto período
• Diferentemente de empresas como a Amazon, que vendem inúmeros produtos individuais, o spam mira uma grande quantidade de consultas de baixa concorrência com páginas feitas sob medida
• Entre os casos identificados estão frases como Craigslist auto parts, Craigslist rooms to rent e Craigslist for sale by owner
• A escala do spam vai muito além das palavras-chave que incluem o termo Craigslist

Páginas de spam visíveis só para o Googlebot

• Ao acessar uma página de spam por um navegador comum, não é possível ver o conteúdo real da página, e o usuário é redirecionado automaticamente para outro domínio
• Nem com o verificador de links da W3C foi possível visualizar o site, e o redirecionamento continuou mesmo ao trocar o user agent do navegador para Googlebot
• Isso sugere que os sites de spam verificam não o user agent, mas o endereço IP do Googlebot
• Se o IP do visitante for identificado como pertencente ao Google, o site mostra o conteúdo ao Googlebot; caso contrário, envia o visitante para outro domínio com conteúdo suspeito
• Ao usar o Google Rich Results Tester com acesso via IP do Google, é possível ver o HTML das páginas de spam
• Copiando o HTML no Rich Results Tester, salvando-o em arquivo e removendo o JavaScript, foi possível visualizar a página de spam da forma como o Google a vê

Um único domínio ranqueou para mais de 300.000 palavras-chave

• Uma planilha compartilhada por Bill Hartzer contém a lista de frases de palavras-chave para as quais um site de spam estava ranqueando
• Só esse site de spam aparecia para mais de 300.000 frases de palavras-chave
• Havia muitas frases relacionadas ao Craigslist, mas também várias outras expressões long tail com elementos de busca local
• Frases long tail e consultas locais já são mais fáceis de ranquear isoladamente, e a combinação dos dois tipos pode facilitar ainda mais a subida no ranking

Brechas na busca local e resposta do Google

• A busca local usa um algoritmo diferente do da busca não local
• Sites locais não precisam de muitos links para ranquear, e podem subir no ranking se tiverem as palavras-chave adequadas para acionar o algoritmo de busca local
• O algoritmo de busca local é bastante permissivo; já houve caso de um site escrito quase inteiramente em latim ranquear para uma frase como Rhinoplasty Plano Texas
• Danny Sullivan, do Google SearchLiaison, disse em 19 de dezembro que encaminhou o caso à equipe de busca e que ele está em análise
• O Google pode reagir de forma mais rígida, como impedindo que sites de determinados domínios ranqueiem, mas ainda resta saber se conseguirá encontrar uma solução para esse tipo de spam

[devstudyman7]

No documento de denúncia de spam do Google, ao denunciar spam da web, se for um domínio como abc.abc.uk/trashasda, denuncie como abc.uk; e inclua abc.abc.uk/sitemap.xml no campo de busca que permita identificar o problema com precisão ao fazer a denúncia. Parece ser um site já estruturado com uma solução, mas com uma arquitetura em que, quando um usuário comum acessa, documentos derivados são recriados imediatamente. A forma correta de responder é fazer denúncias ativamente, e, na mesma proporção em que o Google derruba, novas páginas de spam são criadas novamente. Além disso, há um processo em que bots são induzidos a acessar por meio de google.com/url, image.google.com/url, redirecionamento do Naver etc., sendo então levados outra vez para páginas de spam geradas; portanto, não cliquem, apenas copiem o link e denunciem. Enquanto o algoritmo de redirecionamento explicitamente indicado como google.com/url não for abolido, esse problema atual provavelmente continuará ocorrendo.

[devstudyman7]

• Denúncia de documento da web: https://search.google.com/search-console/report-spam?hl=ko
  (spam, denúncia de documento web com spam)
• Denúncia de site de phishing: https://safebrowsing.google.com/safebrowsing/report_phish/?hl=ko

Ao denunciar páginas da web que se enquadram nas soluções de spam acima,
o correto é preencher, no total de 5 campos, o domínio principal no primeiro e, nas 4 URLs adicionais, a lista de documentos derivados dele. Também é recomendável colocar o sitemap desse domínio no campo de busca. Ao abrir o sitemap, eles adotam uma estratégia em que algo como /new/asdasd é gerado assim que se acessa, de modo que, quando você preenche a denúncia, acabam fazendo o Google gerar e acessar documentos adicionais que depois desaparecem. Como é um esquema bem elaborado, é preciso denunciar o domínio em si.

[devstudyman7]

No meu caso
(h foi trocado por x e / por |)

xttp:||baddomain.com
xttp:||baddomain.com/blogs
xttp:||baddomain.com/blogs/asdasd1
xttp:||baddomain.com/asdasd1
xttp:||baddomain.com/asdasd2

Depois de preencher a denúncia assim,

se for um caso que já apodreceu desde o subdomínio, envio a denúncia com a palavra-chave site:*baddomain.com preenchida assim.

Depois, se o próprio site for totalmente spam, também envio junto a denúncia de site de phishing.

[devstudyman7]

Ironicamente, os softwares desses sites de spam têm integração com tag managers e, apesar de usarem sites como https://picsum.photos, continuam sendo indexados normalmente. Isso também significa que o Google não faz revisão. Mesmo quando já ultrapassaram o limite do que seria uma categoria normal de atividade de spam, se páginas web de spam + anúncios do AdWords estiverem ativos, por mais que sejam denunciados, documentos derivados são criados rapidamente na mesma proporção do tráfego vindo dos anúncios. O mais assustador é que sites de spam estão usando tag managers normalmente.

[devstudyman7]

Já faz um mês que estou enviando relatórios de spam, e se vocês denunciarem como documento de spam ou documento fraudulento, e também fizerem a denúncia na página de reporte de sites de phishing, a limpeza acontece mais rápido. Eu também incluo essa página, mas se o domínio de nível mais alto for abc.abc.uk, vocês precisam informar abc.uk para ajudar a remover o domínio em si. Isso virou uma tarefa cotidiana para os webmasters.

[aobamisaki]

Mesmo antes disso, já era visível havia tempos que a qualidade geral dos resultados de busca do Google tinha caído, e se ele for atacado em massa dessa forma em um curto período, muita gente vai passar a confiar ainda menos nos resultados de busca do Google.

[GN⁺]

Opiniões do Hacker News

• Antigamente havia uma política explícita de que sites que mostrassem ao Googlebot conteúdo diferente do exibido a usuários comuns não logados não eram permitidos e seriam fortemente penalizados.
  Hoje essa política desapareceu, mas, se as ferramentas automáticas de aplicação fossem boas, acho que teriam ajudado em situações como esta.
  Recentemente, o Google parece considerar totalmente aceitáveis até sites que mostram conteúdo ao Googlebot enquanto deliberadamente o ocultam de usuários comuns.

  • Cerca de 10 anos atrás, trabalhei em um site que lidava com centenas de milhões de acessos mensais de usuários comuns; o conteúdo de milhões de páginas mudava várias vezes por dia, e o tráfego de crawlers representava cerca de 90% do total.
    Desses, o Bing respondia por cerca de 70% do tráfego de crawlers, e o Google por cerca de 25%; o Bing fazia crawling de forma agressiva e, em poucos meses, dobrou um tráfego que já era grande, expondo nossos limites de escala.
    Eu era responsável pelo sistema que escolhia os anúncios a serem exibidos nas páginas. Como era um sistema interno de anúncios com segmentação baseada em dados próprios, o custo computacional era a parte mais pesada, e os anúncios eram inseridos diretamente no HTML.
    Ao perceber que 90% da infraestrutura de seleção de anúncios estava sendo usada para servir anúncios a crawlers, quis desativar anúncios para eles, mas isso parecia contrariar o espírito da política do Google de “mostrar o mesmo conteúdo a crawlers e usuários”.
    No fim, desativamos quase toda a segmentação e mostramos aos crawlers anúncios aleatórios aproximadamente compatíveis com a página, reduzindo o custo da infraestrutura de seleção de anúncios em quase 80% e economizando seis dígitos em dólares por mês.
    É esse tipo de coisa que a pergunta “se a funcionalidade central do produto pode ser replicada em 100 linhas, por que a empresa precisa de tantos engenheiros?” deixa passar. Em escala suficiente, só lidar com tráfego de crawlers já exige engenharia de verdade.
  • Acho que essa “política” ainda está nas diretrizes para webmasters do Google. Só não é aplicada.
    No início dos anos 2000, o Google fazia crawling principalmente a partir de IPs de propriedade do Google, mas às vezes também usava IPs de ISPs parceiros, como a Comcast.
    Se você fizesse cloaking por IP, precisava tomar cuidado também com esses IPs inconvenientes que não eram do Google; na época, brinquei com esse jogo usando scripts de um serviço chamado “IP Delivery”.
  • Essa regra ainda existe. Só que nem sempre é fácil detectar quando spammers a contornam.
  • Acho que isso aconteceu porque publishers queriam mostrar paywall aos usuários, mas ainda assim indexar o conteúdo no Google. Em outras palavras, queriam ter o bolo e comê-lo também.
  • O mais irritante é que os sites podem usar o referer HTTP do Google para saber o que o usuário pesquisou.
    Somando isso ao fato de sites de spam espalharem o máximo possível de palavras-chave, depois da primeira página, 95% dos sites parecem spam, seja qual for a busca.
    Não sei por que deixamos a internet ficar assim. Deveria haver uma forma de assinar conteúdo real/confiável, e certificados SSL definitivamente não são isso.
    Talvez desse para fazer crowdsourcing de uma pontuação de legitimidade dos sites.
    É também por isso que as pessoas migram para grandes nomes como Reddit e YouTube. Como no McDonald’s, elas sabem que o que vão receber desta vez será igual ao que receberam antes.

• Migrei para o Kagi há alguns meses. Às vezes é difícil obter bons resultados de busca, mas, quando verifico no Google, ele também não é particularmente melhor.
  Ele nem sempre coloca bem no topo os sites de que eu gosto, mas já comecei a impulsionar e fixar vários domínios para ajustar os resultados ao meu gosto.
  Uso bastante outros serviços do Google, incluindo Gmail e Maps, mas não uso mais a busca.

  • +1 para o Kagi.
    Só que, nos últimos meses, parei completamente de fazer buscas na internet. O ChatGPT-4 está fazendo isso de forma muito mais eficaz; enquanto essa experiência não se degradar de algum jeito, não vejo motivo para voltar à busca na internet.
  • Acho que estou usando o Kagi há quase um ano. Antes disso, usava Startpage ou DDG.
    Quando o Kagi não encontra algo que eu acho que deveria encontrar, tento o Google, mas o Google piorou demais.
    É sinceramente difícil acreditar no quanto ele piorou em comparação com 10 anos atrás.
  • Testei o Kagi, mas ele não entregou os melhores resultados. Especialmente em buscas no meu idioma nativo ou relacionadas à minha região; ainda prefiro Google ou DDG.

• Vejo cada vez mais sites oferecendo uma quantidade absurda de texto para responder a uma pergunta simples.
  Quase sempre seguem uma estrutura em que a resposta de verdade fica lá no fim da página.
  À primeira vista, parecem relevantes, mas, ao ler de fato, são textos genéricos e completamente inúteis. É como um aluno do ensino médio enchendo linguiça em uma redação para atingir a contagem de palavras.

  • A culpa é do Google. Alguns anos atrás, o Google decidiu que autoridade no assunto era importante e que páginas mirando o maior número possível de palavras-chave eram “melhores”.
    Vários profissionais de SEO publicaram estudos dizendo que páginas com mais de 2.000 palavras-chave ranqueavam melhor, e então todas as empresas começaram a inflar suas páginas com 2.000 palavras de bobagem para agradar ao Google.
  • Essa estrutura existe porque você precisa rolar a página passando por anúncios antes de chegar à resposta real. Esses sites são gerados por templates.
  • Muitas páginas nem sequer têm resposta. Elas despejam um monte de parágrafos de preenchimento inútil e, no fim, concluem que não sabem. É comum ver expressões do tipo “então é isso”.
  • Hoje em dia, boa parte desses textos parece de fato ser gerada por modelos de linguagem de grande escala.
    Normalmente dá para perceber pela estrutura de redação de ensino médio, e muitas vezes termina com parágrafos do tipo “em conclusão, há muitas vantagens, mas também muitas desvantagens”.

• Durante 20 anos, demos como certo que os mecanismos de busca que conhecemos conseguiam resolver problemas gerais, mas talvez o próprio conceito de usar rastreamento web não supervisionado como entrada para um mecanismo de busca de propósito único possa desaparecer
  Pensando nas minhas consultas na web nos últimos 1 ou 2 anos, parece cada vez mais provável que seja melhor substituir um único Google por vários sistemas específicos para cada finalidade
  Consultas técnicas seriam feitas diretamente no Stack Overflow e no GitHub; lugares locais seriam buscados em um banco de dados dedicado de locais, onde novos itens precisam passar por uma revisão mínima; perguntas médicas pesquisariam apenas alguns sites confiáveis, e assim por diante
  Acostumamo-nos ao Google porque era conveniente digitar títulos de filmes, “chinese restaurant philadelphia”, “flights to miami 4/12/24” e “Error code 127 python” em um só lugar, mas acho que seria melhor se esse lugar único usasse a ajuda de um grande modelo de linguagem para inferir o tipo de busca e então encaminhar para uma busca especializada e curada
  Fico me perguntando se, voltando ao modelo de diretórios curados por humanos ao estilo DMOZ/Yahoo, seria possível reverter também a onda de spam e clickbait da qual tanto temos reclamado recentemente

  • Acho que a busca melhoraria muito se fosse possível excluir seletivamente domínios inteiros dos resultados
    Eu gostaria de remover GeeksForGeeks para sempre de todos os resultados de busca com um clique. E seria bom poder continuar adicionando itens a uma lista que antigamente chamaríamos de “lista negra”
    Ao pesquisar imagens, eu gostaria que o Pinterest jamais aparecesse
    Assim, meus resultados de busca melhorariam rapidamente
    Indo além, se agregássemos as listas de todos os usuários, também seria possível melhorar a busca de usuários que ainda não criaram suas próprias listas negras
  • À primeira vista parece uma boa ideia, mas isso poderia se tornar muito anticompetitivo
    O fato de um site poder operar na web passaria a depender totalmente de ele ser classificado corretamente nesse mecanismo — ou sequer ser classificado
    Se, por qualquer motivo, você quisesse lançar um concorrente do Stack Overflow, seria muito difícil conseguir atenção
    Algo parecido já acontece nos mecanismos de busca generalistas atuais, mas ainda existe a possibilidade de ser bem referenciado, subir o bastante no ranking e receber tráfego
    Foi justamente por isso que o modelo do Yahoo desmoronou. Antigamente, diretórios muitas vezes não conseguiam mostrar informações recentes simplesmente porque um site não estava na lista adicionada manualmente
    Para mim, o problema atual do Google está menos no spam em si e mais na acomodação do Google. Como os anúncios do Google acabam aparecendo em todos os sites de qualquer forma, a função de “maximizar receita por busca” não se importa muito se o usuário encontra o que quer
    Se ele servir resultados ruins, pode até fazer o usuário abrir mais páginas e, portanto, ver mais anúncios
    Não era assim quando a busca do Google antigo ficava acima dos sites de spam, mas agora tenho a impressão de que eles não fazem mais atualizações de algoritmo para conter a tendência atual, e os sites de spam já descobriram o que aparece no topo
  • Limitar os resultados de busca na web a “alguns sites conhecidos” seria acelerar a morte de parte deles
    A beleza dos mecanismos de busca está no fato de que, em teoria, é possível encontrar coisas novas
    Se excluirmos a web aberta, os players atuais só ficarão mais consolidados e entrincheirados

• Sinto que a qualidade das respostas que recebo da Busca do Google vem caindo de forma acentuada há muito tempo
  Já vi outras pessoas dizendo coisas parecidas
  Não sei quando essa tendência começou
  Será que ela vem se arrastando há muito tempo sem receber a devida atenção? Este ataque de spam seria a etapa final?

  • No meu caso, foi a partir do momento em que o Google começou a mexer nos termos de busca e a adivinhar e alterar o que eu estava procurando
    Perdeu-se uma interação humana sem enfeites, e tenho a intuição de que, depois disso, virou uma bola de neve
    As pessoas desistiram de tentar depender dele de verdade. Porque todos aprenderam que o Google não se importa
    Antes ele era otimizado para ser uma faca afiada; agora é otimizado para ser uma faca sem ponta
  • Será que podemos ver a queda de qualidade como resultado da redução da proporção de conteúdo informativo em relação a conteúdo lixo?
    O conteúdo lixo cresce enormemente a cada ano, enquanto o conteúdo informativo ou de alta qualidade parece ter estagnado — ou até diminuído por causa da deterioração dos dados
  • Tenho a sensação de que vem caindo continuamente desde a introdução do Hummingbird

• Eu imaginaria que o Search Engine Journal soubesse bem que o Google aplica periodicamente mudanças que afetam como certos sites são avaliados
  Durante esses períodos de mudança, os rankings podem variar bastante, com resultados “irrelevantes” ou de “baixa qualidade” subindo muito para certas consultas, e isso às vezes dura bastante tempo
  Antigamente, esses updates de algoritmo eram monitorados e discutidos intensamente em sites relacionados a otimização para mecanismos de busca
  Dito isso, não uso Google há mais de 10 anos, então é apenas um comentário por curiosidade leve

  • Isso não tem relação com mudanças de algoritmo. Trabalho com busca há mais de 20 anos e conheço razoavelmente bem como o Google funciona
    O artigo explica por que há grande probabilidade de isso estar acontecendo
    Em resumo, parece que os spammers estão explorando duas brechas
    1. Palavras-chave de cauda longa têm baixa concorrência e podem acionar outros algoritmos
    2. Algumas/muitas das consultas em que o spam obtém ranking acionam algoritmos de busca local, que são mais permissivos
       Há ainda outros motivos pelos quais esses sites passam, e o artigo trata disso em detalhe
  • Fico curioso para saber o que você usa hoje para diferentes finalidades. Eu abandonei o Google na maior parte do tempo, mas ainda uso a busca ocasionalmente, e também preciso usar o Google Docs porque meus colaboradores usam Google

• O Google se tornou inutilizável em várias situações e recompensa spam. Eles afirmam que não, mas na prática é isso que acontece, e hoje muitas estratégias de otimização para mecanismos de busca giram em torno de espalhar artigos, páginas etc. pelos mecanismos de busca
  Não é para oferecer conteúdo útil, mas por backlinks, links internos e assim por diante
  Isso é especialmente grave em SEO local, em que é preciso criar conjuntos diferentes de páginas para cada região
  No fim, voltamos aos tempos iniciais do Google, quando ele era facilmente manipulável
  Agora as pessoas estão usando IA para criar e espalhar centenas de páginas e artigos. Ficou realmente ruim, mas o pior é que, para competir por palavras-chave, agora é preciso fazer isso

  • Exato. Há 10 anos, o Google combatia fazendas de conteúdo e estratégias maliciosas de otimização para mecanismos de busca com updates como o Panda
    Agora parece que não se importam mais
    Páginas de SEO de baixa qualidade ficam acima de sites legítimos, e esses sites legítimos acabam sendo empurrados a pagar por anúncios. É muito triste

• O Google desistiu da busca orgânica. Entendo bastante de otimização para mecanismos de busca, e agora não consigo mais usar a Busca do Google. Consigo imaginar muito rapidamente por que uma página aparece naquela posição, e nenhum dos motivos tem a ver com informações precisas e valiosas
  O Google é um marketplace e deixa vencer o resultado mais “envolvente”, desde que siga uma determinada estrutura de conteúdo
  Hoje, a maioria dos resultados pagos é mais valiosa para o usuário do que os resultados orgânicos. É isso que o Google quer. Quer que você clique nos resultados pagos e ignore o lixo

  • Não foi nem um pouco essa a sensação que tive hoje quando pesquisei um buffet local pelo nome e acabei clicando sem querer no primeiro resultado patrocinado, o Golden Corral. Para mim, definitivamente não foi “mais valioso”
  • O Google não é um marketplace. Está mais para uma forma exagerada de chamar uma agência de publicidade que quer obter o máximo de lucro com o mínimo de trabalho
    Pelo primeiro parágrafo, isso não quer dizer que os resultados pagos também são lixo?

• Parei de usar o Google há cerca de um ano e mudei para o Bing, depois que o Google começou a enfiar mais ChatGPT nos resultados
  No geral, gosto muito mais da forma como ele mostra o que estou procurando
  Não é perfeito, mas, nas poucas vezes em que fiquei frustrado e comparei com o Google, o Google não foi melhor; o problema estava no próprio assunto, não no mecanismo de busca

  • Sou usuário do DDG há anos, então acho que boa parte dos meus resultados vem do Bing
    Como normalmente não comparo com o Google, é difícil dizer com certeza que os resultados estão “no mesmo nível”, mas minha experiência é claramente melhor
    Quando procuro algo, aparece uma página com links, e geralmente o que eu quero está na primeira página
    Às vezes, quando não está, ou quando é algo recente e acho que o Google pode ter uma versão mais atualizada, adiciono !g ao termo de busca e vou direto para o Google
    É bom, funciona bem e não é estressante, horrível nem irritante. Recomendo

• Nos últimos anos, o próprio Google passou a parecer um ataque de spam

  • Os anúncios do Google são spam, a Busca do Google é spam, o Gmail é spam e o YouTube é spam
    O Google está ganhando dinheiro, e não se importa com mais nada