Google, Bing, Marginalia, Kagi, Mwmbl e ChatGPT: uma análise comparativa

Quão ruim é a qualidade dos resultados de busca?

• Propõe-se um experimento sobre a qualidade dos resultados de busca. Por exemplo, encontrar projetos open source como o yt-dlp usando termos genéricos como "youtube downloader" é difícil por causa das fazendas de conteúdo.
• Muitos profissionais de tecnologia acham que os resultados de busca do Google pioraram de forma perceptível em relação a 10 anos atrás. Por outro lado, ainda há quem defenda que os resultados continuam bons.

Comparação entre mecanismos de busca e o ChatGPT

• Compara-se os resultados para três tipos de perguntas usando vários mecanismos de busca e o ChatGPT.
• Nos mecanismos de busca, os bloqueadores de anúncios foram desativados para reproduzir a experiência de um usuário comum.
• A qualidade dos resultados foi avaliada de forma subjetiva e recebeu notas diferentes conforme a presença ou não de resultados enganosos.

Avaliação dos resultados de busca

• O Marginalia às vezes fornece respostas razoáveis e tem a menor proporção de resultados enganosos.
• O Mwmbl permite que os usuários editem diretamente o ranking dos resultados de busca.
• O Google tende a retornar vídeos recentes do YouTube, o que é inútil para a maioria dos usuários.
• O ChatGPT mostrou desempenho impressionante em um caso, enquanto em outros executou a tarefa de forma adequada ou se recusou a responder à pergunta.

Problemas do Google e do Bing

• Google e Bing retornam vários tipos de resultados incorretos.
• O ecossistema tradicional de busca prioriza o que mais beneficia a cadeia de suprimentos de software, em vez de oferecer os resultados mais vantajosos para o usuário.

Problemas da busca baseada em anúncios

• Mecanismos de busca baseados em anúncios têm incentivos que não estão alinhados com oferecer bons resultados aos usuários.
• O Google dificulta distinguir anúncios de resultados reais de busca, o que pode confundir os usuários.

O potencial dos pequenos mecanismos de busca

• Levanta-se a questão de saber se pequenos mecanismos de busca como o Marginalia podem substituir o Google, ou se vários mecanismos menores poderiam oferecer resultados melhores do que ele.
• Há dúvidas sobre a eficácia da abordagem de curadoria pelos usuários adotada pelo Mwmbl.

Opinião do GN⁺

• O debate sobre a qualidade dos resultados de busca mostra o quanto os usuários dependem dos mecanismos de busca. Embora grandes buscadores como o Google ainda dominem, isso sugere que mecanismos menores podem ser competitivos em nichos específicos.
• Os problemas dos mecanismos de busca baseados em anúncios reforçam que eles podem se tornar um obstáculo para encontrar as informações que os usuários realmente querem. Isso destaca a necessidade de alternativas que melhorem a experiência de busca.
• Este texto ajuda a entender como usuários com conhecimento técnico estão superando as limitações dos mecanismos de busca e também os problemas que usuários comuns enfrentam ao buscar informações.

[GN⁺]

Opinião no Hacker News

• Apesar das melhorias no algoritmo do Marginalia Search, pode ter dado sorte nas consultas de exemplo. Ainda acho que ele continua sendo bem inconsistente em comparação com outras alternativas. Isso mostra como é difícil avaliar a qualidade da busca. É preciso entender que, como mecanismo de busca por palavras-chave, ele não tem compreensão semântica.
• Compartilha a experiência com o Kagi, dizendo que ouviu falar dele no HN e assinou depois de 100 buscas. Ao procurar por JS e CSS aleatórios, o MDN aparece como primeiro resultado e, quando isso não acontece, é possível rebaixar sites de spam.
• É uma das pessoas que ainda acha que os resultados do Google são muito bons. Reconhece que usa bloqueador de anúncios (uBlock Origin) e não pretende desativá-lo. Entende a perspectiva do autor de desligar o bloqueador para imitar a experiência de busca de um não especialista, mas diz que outros testes também poderiam ser feitos com o bloqueador ativado. A expectativa quanto aos resultados para yt-dlp não corresponde à experiência de um não especialista.
• Fornece links para várias buscas a fim de comparar os resultados atuais do Kagi com os de pessoas sem conta.
• Concorda com a opinião do autor de que há spam demais na web. O Kagi faz um trabalho bastante bom ao rebaixar spam e, com modos de busca especiais como "Small Web", quase dá para eliminá-lo.
• Acha que busca é difícil e que todo mundo sabe como manipular resultados. Recomenda usar mecanismos de busca que permitam ajustar efetivamente os sites, como o Kagi ou o mecanismo de busca programável do Google. O recurso de votar nos resultados é atraente, mas pode ser manipulado. A abordagem de lista branca tem desvantagens, mas prefere validar novos domínios via redes sociais.
• Alega que as afirmações de que a qualidade da busca piorou muitas vezes se baseiam em evidências anedóticas, quando isso deveria ser verificável. Houve tentativas de apresentar evidências e critérios reais, mas o tamanho da amostra é pequeno demais para sustentar afirmações gerais.
• Não entende por que quem escreve artigos sobre ChatGPT usa a versão 3.5. Os resultados são claramente diferentes em comparação com o GPT-4.
• Recomenda experimentar o uBlacklist. É uma ferramenta para bloquear resultados de busca, e dá para sincronizar configurações e listas pessoais de bloqueio com Dropbox ou Google Drive. Também há suporte a assinaturas de listas de bloqueio, embora ainda não existam feeds embutidos.
• Questiona a expectativa de que um bom resultado para "baixar vídeos do YouTube" deveria ser yt-dlp ou yt-dlp com interface gráfica. A maioria das pessoas não se interessa por programação, e isso faz perceber como os resultados de busca são subjetivos.
• Não consegue reproduzir os maus resultados que o autor diz ter obtido no Kagi. Para os mesmos termos buscados, vê resultados muito melhores. Fica se perguntando como o autor conseguiu resultados tão ruins.
• Acha estranho esperar que todos os resultados de busca retornem o mesmo tipo de link. Uma busca em que os 10 links apontam todos para a mesma coisa é uma busca ruim. Os resultados devem cobrir suposições razoáveis para a consulta dada. Essa visão também se reflete nas métricas de qualidade de mecanismos de busca.