- Mesmo com apenas 6 buscas simples, ficou evidente que os principais resultados de grandes mecanismos como Google e Bing frequentemente misturam spam de SEO, anúncios enganosos e respostas imprecisas.
- A comparação incluiu Google, Bing, Marginalia, Kagi, Mwmbl e ChatGPT 3.5, com o bloqueador de anúncios desativado e considerando até resultados localizados para Vancouver, BC.
- O Marginalia nem sempre conseguia dar uma resposta completa, mas teve relativamente menos resultados enganosos; o ChatGPT foi bom em algumas buscas, mas também mostrou recusas de resposta e alucinações.
- Google e Bing exibiram sites enganosos e resultados promocionais no topo em buscas comuns como download de vídeos do YouTube, bloqueadores de anúncios e previsão de neve no inverno.
- Para obter bons resultados, passou a ser necessário usar truques de usuário avançado, como restringir sites, combinar palavras-chave e fazer buscas de acompanhamento, o que se distancia da antiga experiência de “é só pesquisar”.
Método de comparação e critérios de avaliação
- Os comparados foram Google, Bing, Marginalia, Kagi, Mwmbl e ChatGPT 3.5.
- As buscas foram escolhidas em três categorias:
- buscas que um usuário não especializado provavelmente faria ao configurar um computador novo;
- perguntas técnicas ou científicas que até um estudante do ensino médio pode entender, mas cuja resposta é difícil de encontrar;
- buscas por informações locais que surgiram de uma necessidade real durante a escrita.
- As 6 consultas usadas foram:
download youtube videosad blockerdownload firefoxWhy do wider tires have better grip?Why do they keep making cpu transistors smaller?vancouver snow forecast winter 2023
- A avaliação foi dividida em
Terrible,Very Bad,Bad,Ok,GoodeGreat, e resultados enganosos foram considerados um fator importante de penalização. - As buscas foram feitas principalmente em novembro de 2023, com algumas em meados de dezembro.
- As consultas nos mecanismos de busca foram executadas em uma nova janela anônima com os cookies apagados, e no caso do Kagi foi usada uma nova conta porque ele não permite busca sem login.
- A localização era Vancouver, BC, e parece que alguns mecanismos aplicaram ranqueamento localizado.
Resultados gerais
- O Marginalia às vezes retornava respostas razoáveis, embora não perfeitas, e nas perguntas que não conseguia responder tendia a mostrar nenhum resultado ou resultados claramente irrelevantes.
- A proporção de resultados enganosos foi menor do que em outros mecanismos, embora ainda houvesse alguns neste experimento.
- O Mwmbl permite que os próprios usuários editem manualmente a ordem dos resultados.
- Em uma das consultas, após edição, o resultado ficou em nível
Great, mas isso não entrou na nota por ter sido otimizado manualmente para o benchmark.
- Em uma das consultas, após edição, o resultado ficou em nível
- O Google mostrou forte preferência por resultados recentes e vídeos recentes do YouTube.
- Na busca por
ad blocker, apareceram vídeos do YouTube de conteúdo fraco, incluindo um que afirmava incorretamente que o primeiro resultado era “oficial do Google”.
- Na busca por
- O ChatGPT foi muito melhor do que mecanismos tradicionais em um caso, razoável em outros, evitou responder em alguns, e produziu alucinações em várias consultas.
- Google e Bing foram avaliados como piores do que o ChatGPT em algumas consultas por retornarem mais resultados manipulativos ou com características de alucinação.
- Na busca de previsão de neve, apareceram sites falsos feitos para ganhar com anúncios e resultados de empresas locais induzindo à contratação desnecessária de remoção de neve.
Resultados por consulta
-
download youtube videos- O resultado ideal seria
yt-dlpou um wrapper GUI gratuito e leve parayt-dlp; projetos menos atualizados, comoyoutube-dl, também seriam aceitáveis. - O Google não teve bons resultados, e a maior parte dos principais links levava a instalação de badware, anúncios enganosos, alternativas pagas, listas promocionais e vídeos do YouTube com cara de spam.
- O Bing também não teve bons resultados, com muitas extensões suspeitas, botões de download falsos e anúncios de baixadores pagos.
- O Marginalia teve como primeiro resultado uma resposta antiga relacionada a
youtube-dle também incluiu um post com instruções de instalação e uso doyt-dlp, sendo avaliado como o melhor. - O Kagi ficou cheio de sites de download que exibiam o Norton SafeWeb, pop-ups de golpe e links antigos de
youtube-dlno archive.org. - O Mwmbl misturou alguns softwares pagos, posts sobre instalação de
youtube-dl, vídeos sobre wrappers GUI e sites enganosos ou de baixa qualidade. - O ChatGPT respondeu que não se deve baixar sem o YouTube Premium e se recusou a recomendar apps ou sites específicos de terceiros.
- O resultado ideal seria
-
ad blocker- O resultado ideal seria uBlock Origin, ou pelo menos um bloqueador não enganoso que bloqueasse anúncios por padrão.
- No Google não havia link para o uBlock Origin, e apareceram bloqueadores que participam do programa Acceptable Ads, permitindo alguns anúncios por padrão, além de anúncios aparentemente enganosos.
- No Bing, os anúncios no topo levavam para Avast Secure Browser, TOTAL Adblock e sites de review falsos, com indicação publicitária tão discreta que podia ser confundida com resultado orgânico.
- O Marginalia tinha recomendações de uBlock Origin no 3º e 4º resultados e o próprio uBlock Origin em 8º, com poucos resultados diretamente enganosos, sendo considerado bom.
- O Mwmbl misturou Ghostery, bloqueadores pagos, sites cheios de anúncios e recomendações de uBlock Origin em comentários do Hacker News.
- O Kagi mostrou no topo resultados de Adblock Plus e da família AdBlock, incluindo um artigo com pop-up induzindo à instalação do TOTAL Adblock.
- O ChatGPT, ao ser perguntado
How do I install the best ad blocker?, sugeriu uBlock Origin como primeira recomendação, sendo avaliado como o melhor nesse caso.
-
download firefox- O resultado ideal seria o link de download do Firefox, sem links falsos ou enganosos.
- Bing, Mwmbl e Kagi forneceram links de download do Firefox e foram avaliados como
Great. - O ChatGPT deu instruções tecnicamente imprecisas, mas direcionou ao site correto, então provavelmente ainda levaria o usuário a baixar o Firefox.
- O Marginalia não tinha link direto para download do Firefox, apenas links indiretos, recebendo
Ok. - O Google tinha principalmente links legítimos no topo, mas o 7º e o 10º resultados levavam a instalação de badware ou exigiam dados de cartão de crédito, por isso recebeu
Bad.
-
Why do wider tires have better grip?- A resposta correta deveria explicar o impacto de pneus mais largos na frenagem em piso seco e no tempo de volta, a frenagem em piso molhado e a aquaplanagem, a diferença entre alterar só a largura do aro ou do pneu, e também a mudança na pressão do pneu.
- Google, Bing e Kagi retornaram muitas explicações incompletas ou erradas sobre área de contato, aderência e carga dinâmica, além de páginas promocionais.
- O ChatGPT produziu uma resposta bem escrita, mas com alucinação plausível no estilo de comentário de internet.
- O Marginalia não tinha resultados para a pergunta original, e ao remover o ponto de interrogação retornou apenas um resultado errado.
- O Mwmbl retornou artigo irrelevante do NYT e textos sobre pneus de bicicleta.
- Nenhum mecanismo deu a explicação correta, e o Marginalia foi considerado relativamente melhor por ter menos resultados errados e menos links enganosos.
-
Why do they keep making cpu transistors smaller?- A resposta esperada era um material que explicasse intuitivamente por que transistores menores ficam mais rápidos e como isso se relaciona com potência e capacitância.
- O Google retornou cartão de conhecimento, Stack Exchange e Quora, mas a maioria era resposta parcial do tipo “menor é mais rápido” ou resposta para outra pergunta.
- O Bing teve no cartão de conhecimento do topo algumas respostas parciais que podiam servir de ponto de partida para buscas posteriores, então recebeu
Ok. - O Kagi retornou Reddit, Stack Exchange, Quora e Metafilter; o 10º link podia levar a Dennard Scaling e temas relacionados, mas não respondia diretamente bem.
- O Marginalia não teve resultados, e o Mwmbl retornou apenas um artigo irrelevante da Vox,
Why do artists keep making holiday albums?. - O ChatGPT deu uma não-resposta sobre aumento de desempenho e, ao pedir mais explicação, produziu uma resposta potencialmente enganosa sobre propagação de circuitos e interconexão.
-
vancouver snow forecast winter 2023- Um bom resultado seria uma previsão sazonal da Environment Canada para o inverno de 2023 mostrando que Vancouver teria bem menos neve que o normal e temperaturas mais altas.
- O Google mostrou no cartão de conhecimento uma previsão falsa de uma empresa local de remoção de neve, prevendo muita neve e frio para induzir compra do serviço.
- No Bing, uma página que parecia resultado relevante no topo era um site falso de previsão com probabilidade diária de “tempestade de inverno” aparentemente manipulada por SEO.
- O Kagi mostrou entre os 4 primeiros resultados o site falso de previsão visto no Bing, além de notícias irrelevantes e spam de SEO.
- O Marginalia não teve resultados, e o Mwmbl retornou resultados irrelevantes como notícia de apagão de 2022, previsão de neve da Filadélfia, congelamento do rio Ohio e notícias regionais de Oregon.
- O ChatGPT não respondeu diretamente e mandou consultar sites ou apps de clima; em uma ocasião, por engano, sugeriu a Environment Canada a partir de um prompt com
User\n.
Como anúncios, SEO e alucinações se misturam
- Os resultados de busca misturavam páginas intencionalmente manipuladas com fazendas de conteúdo publicitário típicas de SEO.
- Na busca por previsão de neve, apareceram tanto sites falsos feitos para receita com anúncios quanto previsões falsas para vender serviços de remoção de neve.
- Na busca por bloqueador de anúncios, havia sites de review falsos que pareciam avaliações objetivas, mas empurravam a instalação de um bloqueador específico.
- Na busca por download de vídeos do YouTube, repetidamente apareciam softwares pagos, extensões suspeitas e botões de download falsos no lugar de ferramentas gratuitas e open source.
- O ecossistema tradicional de busca parece fortemente pressionado a colocar na frente resultados mais lucrativos para a cadeia de fornecimento de software, em vez dos melhores para o usuário.
- Sinais de ranqueamento como cliques e engajamento só reforçam bons resultados quando o usuário é experiente o bastante para reconhecê-los.
O problema de incentivos da busca baseada em anúncios
- O artigo original do PageRank, de Sergey Brin e Larry Page, já considerava que a busca baseada em publicidade tinha um desalinhamento de incentivos com a oferta de bons resultados.
- O artigo explica que a receita de anúncios pode enviesar o mecanismo em direção aos anunciantes e afastá-lo das necessidades dos consumidores.
- Hoje, Google e Bing passaram a fazer anúncios parecerem resultados normais de busca, e muitas vezes os usuários não conseguem distinguir anúncios de resultados orgânicos.
- A avaliação de ranking foi feita com base na ordem em que os itens apareciam na página.
- Se houvesse 4 anúncios acima dos resultados orgânicos, os anúncios eram contados como posições 1 a 4, e o primeiro resultado orgânico como 5º.
- No exemplo da busca
cellular phone, o topo do Google estava preenchido por Google Store Pixel 7, Android phone da Amazon, Wikipedia, resultados comerciais e spam de SEO. - O resultado citado como bom no artigo do PageRank, “The Effect of Cellular Phone Use Upon Driver Attention”, ficava enterrado sob o monte de resultados comerciais e não aparecia.
Potencial de mecanismos pequenos e metabusca
- É interessante que o Marginalia, mesmo sendo um mecanismo feito por uma única pessoa, tenha obtido resultados relativamente bons em algumas consultas.
- Ainda é difícil criar um mecanismo dominante que substitua o Google.
- indexação de coisas que mudam em tempo real, como Twitter e notícias;
- NLP acima do básico;
- aumento das funcionalidades que os usuários esperam de um buscador.
- Por outro lado, parece ter ficado mais fácil criar buscadores úteis para nichos menores.
- Isso porque os resultados do Google pioraram em muitas buscas em comparação com o passado.
- O Google também passou a falhar com mais frequência em retornar a página desejada em buscas por páginas menos populares ou por sequências de texto lembradas com precisão.
- Algo que quase não acontecia antes, ocorria raramente em 2015 e hoje acontece com uma frequência significativa.
- A ideia de combinar vários mecanismos pequenos já parece, há anos, próxima de ser melhor do que o Google para muitos usuários.
- O modelo de curadoria por usuários do Mwmbl parece difícil sem ajustes adicionais.
- Houve um caso de edição de usuário adicionando blogspam ao topo da busca por
RSS, e não havia um jeito fácil de denunciar.
- Houve um caso de edição de usuário adicionando blogspam ao topo da busca por
- Um modelo como o Metacrawler de 1996, agregando vários buscadores, ChatGPT, Bard etc., poderia ser tecnicamente bastante bom, desconsiderando problemas legais e custos de licenciamento.
Apêndice: outros mecanismos de busca
- O DuckDuckGo historicamente foi muito parecido com o Bing e, novamente, ao remover os anúncios do Bing, ainda parecia semelhante, embora não tanto quanto antes, então não houve grande razão para colocá-lo em tabela separada.
- Para usuários experientes que sabem formular bem a consulta, ele pode ser razoável como o Google, mas nas buscas ingênuas desta comparação ele não foi bom.
- O wiby.me é, como o Marginalia, um mecanismo voltado a encontrar resultados relativamente obscuros.
- Em 4 consultas ele trouxe resultados interessantes e bem diferentes, mas não retornou resultados relevantes.
- O searchmysite.net retornou resultados até certo ponto relevantes em algumas consultas, mas com menos relevância que o Marginalia.
- Tinha muito menos páginas enganosas e promocionais do que Google, Bing e Kagi.
- O indieweb-search.jamesg.blog falhou com erro de servidor em todas as consultas.
- O Teclis continua com a caixa de busca no ar, mas foi fechado por abuso de bots, e a página inicial informa que 99,9% do tráfego era de bots.
- O site informa que os resultados do Teclis podem ser usados pela lente
Non-commercial Webdo Kagi e pela API.
- O site informa que os resultados do Teclis podem ser usados pela lente
Apêndice: o caminho indireto para encontrar uma boa resposta
- Na questão da aderência de pneus mais largos, mecanismos comuns não deram uma boa resposta, e o processo de busca acabou passando por busca no YouTube, comentários, livros sobre automóveis, exploração de livros parecidos e busca por nomes específicos de modelos.
Tune To Win, de Carroll Smith, menciona que uma área de contato mais larga reduz o acúmulo de calor e permite compostos de borracha mais macios que operam em uma faixa de temperatura mais estreita, mas isso não explica suficientemente o fenômeno observado.The Unified Theory of Tire and Rubber Friction, de Kummer,The Physics of Tire Traction, de Hays and Browne, eRace Car Vehicle Dynamics, de Milliken and Milliken, também não chegaram a uma explicação suficiente.The Science of Vehicle Dynamics, de Guiggiani, chegou mais perto de como pensar e modelar os fatores relevantes.- A pista final veio do
brush modelno último capítulo; ao buscarbrush model tire width, isso levou aTire and Vehicle Dynamics, de Pacejka, livro que começa a explicar a aderência de pneus mais largos e a modelagem necessária de dinâmica de pneus e veículos. - Para obter bons resultados de busca, é preciso combinar truques de usuário avançado com termos, sites e buscas de acompanhamento, e nem todo usuário tem essas habilidades.
Casos de cartões de conhecimento do Google
- Os resultados de cartões de conhecimento do Google foram frequentemente imprecisos, inclusive para respostas fáceis de encontrar ou perguntas absurdas.
oc2 gemini lengthretornou20″, o comprimento de um bebê citado em um artigo, em vez do comprimento do barco.busy beaver numberretornou o telefone(604) 375-2754.Feedly revenueretornou$5.2M/yr, com base em um site que aparentemente manipula estimativas de receita e lucro de empresas privadas.boston up118s dimensionsretornou o tamanho do piano como5826298 x 5826899 x 582697 in.Intel number of engineersretornou um número de telefone em vez da quantidade de engenheiros.fraser river current speedretornou o valor impreciso97 to 129 kilometers per hour.futura c-4 surfski weightretornou39 pounds, que era o peso de outro surfski.
Resposta às críticas
- Esta comparação não é um estudo revisado por pares e inclui avaliações subjetivas para algumas consultas.
- Com base em experiência com artigos de recuperação de informação e em um prêmio de melhor artigo, argumenta-se que um artigo acadêmico não é automaticamente mais rigoroso por si só.
- Parte das refutações de usuários do Kagi consistia em fixar resultados do GitHub ou rodar apenas consultas em que o GitHub apareceria bem.
- Ainda não houve refutações mostrando bons resultados reais para as consultas sobre pneus, transistores e previsão de neve.
- O ponto central do debate sobre qualidade de busca não é a habilidade do usuário avançado em pesquisar, mas o quão facilmente o usuário comum, fazendo buscas simples, encontra anúncios enganosos e spam de SEO.
1 comentários
Opiniões no Hacker News
Embora tenha melhorado bastante o algoritmo de busca recentemente, acho que o Marginalia Search teve um pouco de sorte nas consultas de exemplo
Os resultados ainda são mais irregulares do que os de outras alternativas, o que também mostra como é difícil fazer uma avaliação da qualidade de busca
A eficácia também depende muito de o usuário entender que se trata de um mecanismo de busca por palavras-chave, sem compreensão semântica
“Compreensão semântica” às vezes pode funcionar de forma enviesada e suspeita
Tenho acompanhado até certo ponto o lado de buscas DIY e não corporativas, como o YaCY, e queria entender melhor o contexto das decisões de engenharia ao criar um mecanismo de busca
O Marginalia, no geral, é um trabalho muito impressionante, e só ouvi avaliações positivas dos usuários daqui
Procurei marginalia no DDG, mas não apareceu na primeira página; no Google, apareceu depois de vários resultados aleatórios
Ao acessar marginalia.nu, há um erro de SSL, enquanto search.marginalia.nu funciona
Ao buscar duckduckgo no Marginalia, o primeiro link é sobre o app e é razoavelmente relacionado, mas os demais, embora tenham alguma relação com o DDG, têm relevância duvidosa
Ao buscar o uBlacklist mencionado acima, também não aparecem resultados diretamente relacionados
É verdade que a busca ficou muito pior, mas também melhoramos na capacidade de montar consultas conhecendo palavras mágicas como “ublock origin” em vez de “Adblock”, ou “yt-dlp” em vez de “download YouTube”
No fundo, todos estivemos fazendo engenharia de prompts contra um gigantesco modelo de linguagem em escala da internet inteira, no qual todos são spammers
Buscar hoje em dia é bem difícil, e todo mundo sabe como manipular os resultados
Recomendo mecanismos de busca que permitam alterar efetivamente quais sites aparecem, como o Kagi ou os Programmable Search Engines do Google
Em especial, bloqueio o YouTube porque não gosto de ele contaminar os resultados gerais com vídeos, mesmo que às vezes haja resultados corretos. Leva tempo demais obter informação em vídeo
Um recurso que permitisse recomendar resultados para uma consulta específica é atraente, mas provavelmente também seria manipulado; no fim, só uma abordagem DIY parece administrável
No meu caso, permito apenas resultados de domínios em que acredito. O método de whitelist tem desvantagens, e normalmente valido novos domínios por vias sociais, como Reddit ou este site, não pelos resultados de busca
Acho que há um trade-off essencial entre descoberta e suscetibilidade à manipulação dos resultados
Entendo a saudade dos resultados do Google de 2008, mas naquela época havia várias ordens de grandeza menos conteúdo do que hoje, e os negócios ainda não sabiam o quanto a posição nos resultados de busca era valiosa, então provavelmente quase não havia SEO
Além disso, não concordo que yt-dlp seja a “resposta certa” quando o usuário médio busca “Youtube Download”. É bem provável que o usuário médio nem conheça a linha de comando, nem queira usá-la
Muitos sites são apenas o mesmo conteúdo reprocessado, como fazendas de SEO de baixa qualidade, porque isso é fácil de produzir e barato de hospedar
Já criar vídeos exige tempo e esforço, então a barreira para usá-los como fazendas de cliques é maior
Várias vezes, quando a busca tradicional falhou, encontrei no YouTube um vídeo de por volta de 2009 que explicava claramente, com calma e em detalhes, exatamente o que eu procurava
Também costuma ser uma fonte melhor ao procurar informações para compra de produtos. Por exemplo, ao pesquisar qual ventilador comprar, há canais dedicados que testam a utilidade de vários ventiladores e mostram em vídeo a abordagem e os resultados
Canais mainstream não ajudam muito, mas vídeos entusiasmados no estilo da “web antiga” existem sobre praticamente qualquer tema e parecem um baú de tesouros
Por exemplo, o artigo da Wikipédia sobre “link farming” explica que isso existia desde 1999 e mirava SEO no Inktomi
https://en.wikipedia.org/wiki/Link_farm
Lembro também de uma apresentação interna da Amazon por volta de 2004 dizendo que melhorar o SEO das páginas da Amazon no Google aumentaria tráfego e receita. A Amazon, por uma espécie de síndrome NIH, estava até um pouco atrasada nisso
Se humanos conseguem distinguir, em princípio computadores também conseguem
Bastaria adicionar um pequeno menu suspenso à UI de link público de cada PSE para escolher qual usar; é uma pena
O Giggle[1] oferece esse recurso, e eu o rodo localmente junto com o Kagi, usando uma lista de domínios que reuni ao longo de alguns anos para buscas mais específicas
Se cliques não geram receita, a maior parte do jogo simplesmente desaparece
Não quer dizer que não haja direito de ganhar dinheiro, mas esse modelo claramente incentiva comportamentos hostis ao usuário
Mesmo sites legítimos, como jornalismo, usam esse modelo, então pode ser bom deixá-lo como opção
Conheci o Kagi no HN e, depois de fazer umas 100 buscas, assinei
Quando pesquiso qualquer coisa relacionada a JS ou CSS, o MDN aparece como primeiro resultado; caso contrário, dá para rebaixar os sites de spam no topo
Seria bom se um modelo de linguagem grande local fosse treinado para detectar clickbait ou conteúdo de baixo esforço
Imagino a busca do YouTube com todos os clickbaits recolhidos, como o Kagi agrupa posts em formato de lista, deixando só o restante como conteúdo potencialmente de alta qualidade. Não sei se isso já é possível hoje
É um excelente life hack
É surpreendente o quanto um mecanismo de busca que não está lotado de anúncios pode melhorar
Eu costumo odiar bastante assinaturas, então, em uma área de serviços que originalmente são gratuitos, isso é uma avaliação bem significativa
Às vezes preciso recorrer ao Google para buscas locais, mas, fora isso, estou satisfeito
Compartilho os resultados atuais do Kagi para que quem não tem conta possa comparar
youtube downloader
https://kagi.com/search?q=youtube+downloader&r=us&sh=_szITdy...
ad blocker
https://kagi.com/search?q=Ad+blocker&r=us&sh=-BHzV2ZoCDpmgOu...
download Firefox
https://kagi.com/search?q=Download+Firefox&r=us&sh=zkkmc_EQX...
why do wider tires have better grip?
https://kagi.com/search?q=Why+do+wider+tires+have+better+gri...
why do they keep making cpu transistors smaller?
https://kagi.com/search?q=Why+do+they+keep+making+cpu+transi...
vancouver snow forecast winter 2023
https://kagi.com/search?q=Vancouver+snow+forecast+winter+202...
Concordo com o autor que há spam demais na web. Vejo que o Kagi normalmente rebaixa spam muito bem, e o número de anúncios e rastreadores é um sinal negativo de ranqueamento para o Kagi
Ainda assim, dá para fazer melhor, e modos de busca especiais como “Small Web” praticamente eliminam o spam
Validações assim da comunidade são bem-vindas, e espero que continuem nos mantendo honestos
Também não vejo spam nos exemplos
Para “why do wider tires have better grip?”, ele responde que pneus mais largos distribuem o peso de forma mais uniforme por uma área de contato maior e aumentam a aderência nas curvas, melhorando a dirigibilidade e a estabilidade
Para “why do they keep making cpu transistors smaller?”, ele responde que transistores menores fazem mais cálculos sem superaquecer e têm melhor eficiência energética; também reduzem o tamanho do die, baixando custos e aumentando a densidade para permitir mais núcleos por chip
Para “vancouver snow forecast winter 2023”, ele responde que, para a temporada 2023/2024, são esperadas neve suficiente e temperaturas acima e abaixo do ponto de congelamento, então é bom se preparar
Em textos sobre ChatGPT, é realmente difícil entender por que usam o 3.5
Isso cria uma impressão bem enganosa sobre os resultados que se pode obter com a melhor versão disponível do ChatGPT
Para comparação, aqui estão os resultados de todas as perguntas do autor feitas ao GPT-4
https://chat.openai.com/share/ed8695cf-132e-45f3-ad27-600da7...
Falar sobre algo pelo qual a grande maioria dos leitores não vai pagar é quase inútil, e um terceiro qualquer não tem obrigação de incentivar outras pessoas a mandar dinheiro para a OpenAI
Se você não gosta que as pessoas usem o 3.5, deveria reclamar com a OpenAI, não com quem usa o serviço oferecido gratuitamente
Pessoalmente, não sinto que o excesso de elogios à diferença entre o 4 e o 3.5 seja justificado
https://news.ycombinator.com/item?id=38304184
É preciso pagar uma assinatura fixa de US$ 20 por mês com limite de mensagens, ou entender como obter uma chave de API, ou usar um serviço de terceiros com custos e limites semelhantes
Vale a pena experimentar o uBlacklist. É uma ferramenta tipo o uBlock para resultados de busca
https://addons.mozilla.org/en-US/firefox/addon/ublacklist/
https://chromewebstore.google.com/detail/ublacklist/pncfbmia...
Dá para sincronizar as configurações e a lista pessoal de bloqueio pelo Dropbox ou Google Drive, e também assinar listas de bloqueio
Mas é preciso ativar manualmente os mecanismos de busca e assinar as listas. As configurações de assinatura do uBlacklist ainda não têm feeds embutidos
O site do uBlacklist tem alguns feeds
https://iorate.github.io/ublacklist/subscriptions
Também encontrei uma lista melhor de feeds
https://github.com/quenhus/uBlock-Origin-dev-filter#other-fi...
Você pode promover um domínio nos resultados de busca ou colocá-lo na blacklist
Uso há anos e nunca tive problema nenhum
Uma dica rápida: ativar “Skip the "Block this site" dialog” e deixar desativado “Hide the "Block this site" links” permite bloquear sites de spam muito mais rapidamente
Sou do lado que ainda acha os resultados do Google muito bons
Mas uso o uBlock Origin e nem cogito tentar desligá-lo
Entendo a intenção do autor de desligar o bloqueador de anúncios para obter uma “experiência de navegação de não especialista”, mas ele também poderia ter feito um teste separado com o uBlock ativado em todas as consultas
Além disso, ao simular a experiência de um não especialista, esperar que apareça o yt-dlp nos resultados de download de vídeo é meio inconsistente
O yt-dlp é um utilitário Python de linha de comando. Está longe de ser coisa de não especialista
A maioria das pessoas nem sabe que vídeos são arquivos baixáveis, e mesmo entre as que sabem, a maioria não conhece linha de comando nem Python
Se você pesquisar “how to download youtube videos” no Google, o primeiro resultado é um serviço chamado savefrom.net, que funciona bem e não parece golpe. Pelo meu critério, isso é “muito bom”
Se pesquisar “how to download youtube videos from the command line”, os primeiros resultados são relacionados ao youtube-dl e incluem links do GitHub e do Super User. Não mencionam o yt-dlp, mas o youtube-dl é um bom ponto de partida
https://msunduziassociation.online/perfect-online-videos/
https://gssaction.org/program-all-in-one-media-solutions/
Assim como o autor, eu certamente colocaria isso na categoria “horrível”
Ao inserir “https://www.youtube.com/watch?v=IkYVmtgxebU” e clicar em “Download”, abre uma nova aba tentando instalar malware
Se você recusa a instalação, essa nova aba vai para a página inicial do malware
Ao fechar a aba e voltar para a original, o savefrom.net mostra o erro “The download link not found.” e não ajuda a baixar o vídeo
Tenho uma sensação vaga de que a busca piorou com o tempo, mas não é um grande problema. Em geral há um site bom na primeira ou segunda página, então basta entrar e conferir
Mas, se isso significa que você é atacado no instante em que clica em um site, a gravidade da situação aumenta muito. Não importa só se há sites bons, mas também se não há sites ruins
Fora isso, as pessoas precisam ser treinadas, de modo geral, a não baixar programas de sites. Acho que isso melhorou um pouco com o tempo
O Google poderia rebaixar sites que tenham links para executáveis; talvez até já faça isso
Pesquisas mais cotidianas viram uma tarefa de vasculhar um monte de lixo que nem contém os termos procurados
Mesmo a busca “verbatim” depende da sorte. Ou ela é ignorada, ou retorna 0 resultados
Simular a experiência de um não especialista sem contornos não é um padrão de uso comum. Afinal, cada pessoa tem seus próprios métodos para extrair mais valor das ferramentas de que gosta
Mas o texto mostra uma forma de estruturar o experimento, como “por que escolhi estas consultas” e “como avaliei golpes”
Seria bom que as pessoas, com o mesmo espírito, avaliassem se a escolha atual de ferramentas não está presa em um ótimo local
Dá para entender por que as pessoas acham que os resultados de busca são ruins
Um ótimo resultado para “Download youtube videos” ser “idealmente, os primeiros resultados deveriam ser o yt-dlp ou um wrapper gráfico leve” é dose
Eu só quero um site em que eu cole o link de download e baixe para o disco rígido. Não me importo com qual pacote ele usa
Também não fico preocupado com malware como nos anos 90, e 99,999% das pessoas não mexem com programação
Isso me fez perceber como os resultados de busca são subjetivos. Os resultados “ótimos” deles, para mim, são todos “horríveis”
Especialmente porque o computador era um objeto isolado. Computadores conectados eram a exceção
Ele processou o vídeo muito rapidamente e fez o download
Por que uma pessoa razoável preferiria youtube-dl?
O que sempre me confunde nessa postura de que “a busca ficou péssima” é que ela muitas vezes se baseia, na melhor das hipóteses, em evidência anedótica; na pior, em lembranças anedóticas
Eu também tenho a impressão de que a busca piorou nos últimos anos, mas como saber se isso é mesmo verdade?
Precisa ser uma afirmação verificável. Bastaria testar os N termos de busca mais populares em lugares como o Google Trends e ver o desempenho
Parece fácil criar um benchmark, mas ninguém entre os que reclamam desse problema parece disposto a fazer isso
Dan começou a apresentar evidências reais e critérios para pontuar os resultados, mas mesmo ele olhou só 5 exemplos. É uma amostra realmente pequena para fazer uma afirmação geral
Por isso fico me perguntando por que há tantos textos sobre a sensação de que a busca piorou, mas ninguém verifica essa afirmação
Se a questão fosse apenas relevância, a crítica sobre a amostra pequena seria válida, mas, se o foco é dano, uma amostra pequena ainda tem significado
Se alguém diz “encontrei seringas usadas em 3 de 5 parquinhos”, em geral você não exige valor-p e barras de erro
Especialmente neste caso, o autor está respondendo à pergunta “qual resultado é melhor segundo o meu gosto?”
Não estou tentando criar um mecanismo de busca para competir com o Google nem escrever um artigo acadêmico
Esse problema foi levantado várias vezes aqui ao longo dos anos, mas a resposta sempre foi explicação, não solução
A queda de qualidade não acontece da noite para o dia; ela ocorre ao longo de vários anos
O Google passou a dizer que certos termos de busca eram menos comuns e mostrar “did you mean...?”, obrigando um segundo clique para fazer a busca originalmente pretendida; depois piorou ao ignorar até qualificadores que deveriam impedir isso
Quando percebi que uma consulta simples, cuidadosamente escolhida, de três palavras retornava milhares de resultados sem que nenhum fosse relevante, senti que já bastava. Isso pode variar de pessoa para pessoa
Se mais gente fizesse esse tipo de abordagem, em vez de maximização quantitativa, talvez tivéssemos menos produtos que nos enlouquecem
O importante é a sensação avassaladora de que a busca piorou, não mais uma planilha que nos trouxe até aqui
Também é difícil incluir omissões na definição de qualidade, e o que deve ser omitido também é subjetivo
Por exemplo, ao buscar por “Gaza”, um mecanismo pode focar apenas em acontecimentos recentes, enquanto outro pode ignorar os acontecimentos recentes e incluir só informações gerais
Qual dos dois tem maior qualidade? Na prática, depende do que se está procurando
No fim, só resta criar uma lista subjetiva do que se considera importante e pontuar de acordo com ela, o que é quase o mesmo que uma avaliação anedótica com etapas adicionais
Se você quer saber por que o Google, ou qualquer mecanismo de busca, é ruim, veja como eles medem os próprios resultados de busca
A maioria das empresas de busca faz algo muito parecido com o que o autor fez, em grande escala e seguindo diretrizes muito específicas
Por exemplo, há um guia de 168 páginas para avaliadores de qualidade de busca do Google
https://static.googleusercontent.com/media/guidelines.raterh...
Ele trata de entender o significado da consulta, julgar a intenção do usuário, avaliar a “qualidade” de um site, pontuar o quão útil o site é em relação ao significado e à intenção da consulta, entre outras coisas
Ou seja, não é que as empresas de busca não façam o que o autor fez; elas apenas têm critérios diferentes dos dele
Esses critérios talvez estejam mais alinhados com os usuários do que os do autor, mas talvez não estejam, e isso também pode não permanecer assim para sempre
A página 29 do documento linkado descreve “Lowest Quality Content”
A maioria dos resultados de busca que o autor avaliou como spam ou golpe se encaixa claramente nessas diretrizes
Então ou os avaliadores não conhecem suficientemente o tema para identificar sites nocivos ou enganosos, ou os avaliadores avaliaram corretamente, mas isso não está produzindo o efeito desejado
O Google passou a ser visto como um mecanismo de busca de produtos e um site de comparação de preços, e é ótimo nisso
Para qualquer produto que alguém possa considerar comprar, ele encontra produtos relevantes, então o Google pode ter otimizado nessa direção
A maioria das minhas buscas é relacionada a TI, programação, software e computadores em geral, mas pessoas comuns buscam produtos, notícias e horários de funcionamento de lojas
O Google é bastante bom nisso, e o dinheiro está em “ir comprar alguma coisa”
Os anúncios de produtos do Google são sempre muito mais precisos do que os resultados reais de busca
Vejo o Google como otimizado para venda de produtos
Espero que, com a melhora dos grandes modelos de linguagem, eles consigam filtrar melhor os resultados retornados