O declínio dos mecanismos de busca é uma oportunidade

 (lewiscampbell.tech)
1 pontos por GN⁺ 5 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • A queda na qualidade dos mecanismos de busca é uma oportunidade para voltar a usar hiperlinks e páginas pessoais de links, uma forma antiga de navegar pela web
  • O Google já não é realmente utilizável há anos, DuckDuckGo/Bing vêm piorando de forma constante, e o Yandex é relativamente impressionante, mas ainda não chega ao estado da arte
  • O YouTube é realmente o pior caso: rostos parecidos e fundos de títulos polidos se repetem, fazendo a própria busca ser evitada
  • O Kagi parece depender desses mecanismos de busca acima, e os resumos de busca com LLM têm a limitação de serem resumos não determinísticos construídos sobre resultados de busca de baixa qualidade
  • Quando sites pessoais linkam diretamente para sites de que gostam, isso se torna uma forma de retomar a World Wide Web na unidade do hiperlink, em oposição à web centralizada

Questão central

  • O ponto de partida é a percepção de que já ficou difícil negar a queda de desempenho dos mecanismos de busca
  • O Google não é utilizável há anos, DuckDuckGo/Bing vêm piorando constantemente, e o Yandex, em comparação, é mais impressionante, mas ainda está alguns passos atrás do que já foi o estado da arte
  • A busca do YouTube virou algo que se evita instintivamente por causa dos vídeos com rostos e cartões de título em formatos repetitivos
  • O Kagi é frequentemente recomendado, mas parece depender dos três provedores mencionados acima
  • LLMs podem buscar no lugar do usuário, mas quando os próprios resultados de busca são de baixa qualidade, os resumos não determinísticos construídos sobre eles não resolvem o problema

Resposta proposta

  • A solução é pensar fora da caixa de busca, e a resposta é o hiperlink
  • Na web inicial, era comum descobrir outros sites interessantes clicando nas famosas páginas de “links” de sites legais
  • Às vezes esses links eram irrelevantes ou estavam quebrados, mas às vezes acertavam em cheio e levavam a sites memoráveis
  • Em vez de lamentar a web centralizada, quem mantém um site pode linkar diretamente para os sites de que gosta
  • Minha nova página de links não é um “web ring” nem uma troca de follows; é apenas uma lista de coisas de que gosto
  • Não espero que os sites linkados retribuam com links, e mesmo que alguém linke para mim, não se deve esperar reciprocidade
  • Se cada um linkar para onde quiser e criar sua própria página de links, isso se torna uma forma de retomar a World Wide Web, um hiperlink de cada vez

Leituras relacionadas

1 comentários

 
GN⁺ 5 시간 전
Opiniões no Lobste.rs

  • Infelizmente, vi o Google colocar links realmente muito bons dentro do painel de visão geral de IA, e esses links geralmente serem melhores do que os principais resultados de busca Por exemplo, ao pesquisar por "what is a linked list", no topo do painel lateral da área de IA apareceu um tópico do Reddit, e depois o artigo correspondente da Wikipedia. Pessoalmente, acho que a Wikipedia deveria estar em 1º lugar, mas enfim, foi isso que apareceu Já o 1º resultado da busca normal era um artigo do GeeksForGeeks e, sem querer atacar o GeeksForGeeks, é um texto fortemente otimizado para mecanismos de busca, que fica muito bem ranqueado mesmo havendo conteúdo melhor na web. Nesse caso, a Wikipedia ficou em 2º Mesmo que o LLM escolha melhor os links, não acho que seja isso que está acontecendo; é mais provável que sejam resultados cuidadosamente projetados, e isso é um exemplo clássico de enshittification. Eles escondem bons links ali dentro, e se você clica lá vira, nas métricas, um consumidor feliz de tranqueiras. Isso porque eles já sabem que os resultados de busca reais são péssimos

    • Você disse “sem querer atacar o GeeksForGeeks”, mas esse site merece críticas, sim. Ele é bom em otimização para mecanismos de busca, mas raramente tem a informação que você está procurando, e já era esse tipo de conteúdo muito antes de a palavra ‘slop’ se popularizar. Por isso é um dos sites que bloqueei dos resultados de busca
    • Em vez de usar um mecanismo de busca genérico, foi uma grande virada perceber que, quando existe uma busca especializada claramente mais adequada, é melhor usar ela. Se você está procurando sobre listas ligadas, é bem provável que o que quer esteja na Wikipedia, então não há muita razão para usar o Google Adicionei atalhos no Firefox para poder digitar algo como @w linked list e ir direto para a Wikipedia. Também dá para fazer muitas buscas mais estreitas e especializadas, como Arch Wiki, MDN, Stack Overflow e IMDB A própria ideia de que uma única empresa deva operar um serviço capaz de encontrar qualquer informação do mundo já é bastante duvidosa. Escrevi sobre isso no ano passado É fácil sentir saudade da época em que “bastava jogar algumas palavras-chave no Google e você encontrava qualquer coisa que existisse”, mas na verdade isso nunca foi verdade. Em troca de não precisarmos vagar pela web caótica, permitimos que o Google mudasse a própria definição do que é a web. Dizíamos “se não está no Google, não existe”, mas isso estava errado, e só agora estamos começando a ver o quanto estava errado Ver a web inteira de um ponto de vista divino e objetivo é algo fundamentalmente impossível. Para indexar algo tão vasto quanto a web e ao mesmo tempo impedir abusos, é preciso tomar milhares de pequenas e grandes decisões. Cada vez que você faz uma busca — ou, aliás, cada vez que faz uma abstração — precisa aceitar uma simplificação da realidade. O mapa não é o território, e o índice não é a web https://search.technomancy.us/why
    • Existe o &udm=14, autodenominado “código Konami para desfazer a enshittification”, que sempre redireciona para a aba de busca na Web, que normalmente fica escondida em “More”. Estou com isso ativado em vários dispositivos há algum tempo e estou muito satisfeito por ter recuperado a busca “burra” Ainda existem os problemas de otimização para mecanismos de busca e manipulação de ranking, mas isso devolve um pouco do controle que a visão geral de IA tirou
    • Isso já vem acontecendo há algum tempo, e no ano passado até escrevi sobre um exemplo no blog. É extremamente irritante e só pode parecer um design intencional para fazer as pessoas passarem mais tempo no site do Google Acho que o acordo entre o Google e os sites está praticamente nulo. Se eles não estão dispostos a mostrar links para o meu site, por que eu deveria permitir que os bots deles rastreiem o meu site?

  • Como já foi mencionado no blog, se você ainda não testou, vale a pena experimentar o Kagi. É bem conhecido que o Kagi usa dados de rastreamento ou índices de busca de outros grandes mecanismos, mas ele só usa os dados e faz seu próprio ranqueamento dos resultados de pesquisa. Uso há mais de 2 anos e estou satisfeito; já encontrei nele coisas que não consegui achar no DuckDuckGo. Dá para subir, rebaixar ou bloquear sites nos resultados, e há muitos recursos como Redirects (URL Rewrites). Também gosto da forma pública como o Kagi se comunica. No Changelog há links para cada ticket do Kagi Feedback, que também funciona como rastreador de issues. Eles também têm uma página de Status. Quanto à ideia de criar uma página de links no próprio site, o Kagi Small Web é até certo ponto parecido, e no Kagi Small Web website dá para visitar sites aleatórios. John Gruber (Daring Fireball) e Cory Doctorow (Pluralistic) também usam. Como exemplos, veja Seriously, Give Kagi a Try, Another Periodic Suggestion to Try, Just Try, Switching to Kagi for Search, Tim Bray: ‘Mourning Google’, The Talk Show: ‘A Professional Internet User’, With Kagi Founder and CEO Vlad Prelovac, Tag: kagi. Há um teste de 100 buscas, e dependendo do volume de pesquisa o plano Starter de US$ 54/ano pode ser suficiente. Se precisar de mais, é só conferir em Individual Pricing. Também existe Duo and Family, então o custo por pessoa pode ficar mais baixo, mas isso só é possível no Professional. Dá para fazer upgrade ou downgrade a qualquer momento, e o saldo restante é calculado proporcionalmente e aplicado ao novo plano.

    • Mas o Kagi usa Yandex, então pagar por ele acaba sendo uma forma indireta de apoiar o regime de Putin. Não quero apoiar conscientemente algo que ajuda a matar ucranianos.
    • Na prática, ele agrega várias fontes. Ainda assim, concordo que ele é excelente e acabei de renovar minha assinatura.
    • Até onde sei, o DuckDuckGo também permite bloquear sites nos resultados. Acho que não há função para promover ou rebaixar sites, ou pelo menos eu nunca tentei. Também vale saber que o Kagi começou como uma empresa de IA antes de migrar para busca [https://help.kagi.com/kagi/ai/kagi-ai.html]. Não estou insinuando nada só com esse fato, mas muita gente talvez não saiba, então achei bom compartilhar. Mais diretamente: o texto inteiro foi escrito meio como propaganda, então é melhor receber o conselho com certa cautela.
    • Já ouvi muitos elogios ao Kagi, mas no meu caso não tive a mesma sorte. Não estou tentando negar essa experiência; acho até possível que eu esteja usando errado. Por isso, tenho curiosidade sobre que tipo de busca você está colocando no Kagi. Minha consulta de referência foi "sesans spin echo length formula". No DuckDuckGo, o primeiro link é a página da SESANS Wiki, mas ela não tem a fórmula que eu procuro, e o segundo link é um artigo que contém a fórmula. No Google, o primeiro link é material de conferência com bastante base matemática sobre SESANS, mas sem a fórmula desejada; de novo, o segundo link é o artigo com a fórmula. A explicação das constantes também é melhor do que no segundo link do DDG. No Kagi, só fui ver a relação que eu procurava no sexto link. Pelo meu critério, o Kagi foi pior, mas talvez o próprio critério seja ruim. Fico curioso sobre que tipo de busca funciona melhor no Kagi.
    • Eu gostava do Kagi, mas parei de usar quando descobri que eles estavam mandando dinheiro para a Rússia. Recentemente comecei a usar o Uruky e estou gostando bastante. Não é perfeito, mas é melhor do que o Google atual. Só não fui a fundo nas fontes de dados; apenas confirmei que não é Yandex, então se alguém souber mais, tenho interesse.

  • Em 2024, Google e Reddit fecharam um acordo de US$ 60 milhões para usar conteúdo do Reddit no treinamento de IA do Google. Por isso, hoje em dia a busca do Google parece quase o mesmo que usar o prefixo site:Reddit. Sites antigos e bons acabam escondidos atrás de resultados irrelevantes e de baixa qualidade.

  • Ultimamente tenho me perguntado se a solução não seriam diretórios curados por humanos, como os sites do Yahoo no começo. Algo com uma forma de pesquisar esses sites junto. O Marginalia parece um pouco com isso, mas não vejo um diretório.

    • Pensei a mesma coisa. Na prática, o autor acabou reinventando o diretório da web, e apesar dos problemas de escala, talvez tenha chegado a hora de precisarmos disso de novo.
    • Exato, é isso mesmo. Por favor, alguém faça um.

  • Não sei se é verdade que “o Kagi parece depender dos 3 provedores mencionados acima”, mas, literalmente, isso pouco importa. A busca do Kagi é realmente excelente, e eu provavelmente continuaria pagando mesmo se o preço dobrasse. Faço em média 1.432 buscas por mês, então vale totalmente a pena.

    • Tenho curiosidade sobre que diferença você viu ao rodar Kagi lado a lado com outros motores de busca. Tem algum exemplo de consulta?

  • Dizem que “a piora funcional dos motores de busca agora é difícil de negar”, mas será que fui o único que não percebeu isso? Eu ainda pesquiso e encontro o que preciso.

  • Estou pensando em uma forma de manter quase tudo em cache de modo contínuo e indexar para busca de texto completo, porque parece que alguns materiais somem da web ou ficam praticamente impossíveis de encontrar Projetos parecidos já foram compartilhados aqui antes. A ideia básica é usar SQLite e FTS5 para tudo. Preciso explorar mais essa área

    • Criei meu mecanismo de busca hiperpessoal com SQLite FTS5. Ainda não indexo o histórico do navegador, só os favoritos e todas as URLs que postei nas minhas contas de redes sociais. Mesmo assim, estou definitivamente pensando em indexar o histórico do navegador também. https://search.technomancy.us Seria ótimo se outras pessoas também experimentassem

  • Vi isso mencionado em dois comentários, mas vale a pena deixar os links. Marginalia Search é excelente https://marginalia-search.com/ https://about.marginalia-search.com/

  • Escrevi uma resposta para outra pessoa nesta thread, mas parece relevante para o post do blog, então vou deixar também no nível principal. Se parecer autopromoção demais ou inadequado, podem apagar Resumindo, se eu for encurtar as reflexões: passei um tempo quase de luto, achando que tinha perdido a web que eu conhecia ao crescer. Mas muita coisa ainda está por aí em algum lugar, e eu simplesmente não sabia disso. A web moderna obviamente não é a mesma, e boa parte do que eu “lamentava” era nostalgia ou a idade que eu tinha na época, mas a web continua enorme e cheia de coisas interessantes, úteis e divertidas. Só ficou realmente muito mais difícil encontrá-las, e isso já era verdade antes mesmo de as ferramentas de IA começarem a engolir os mecanismos de busca Pensei bastante sobre que tipo de experiência eu estava sentindo falta e, por vários motivos, cheguei à mesma conclusão do autor do blog. Pessoas reais precisam compartilhar links que levem a coisas boas, e precisamos cultivar uma postura de navegação mais lenta e intencional. Com esse espírito, criei uma ferramenta para montar diretórios web colaborativos: https://linklists.net É bem pequena e ainda tem muitas arestas. Como é tanto uma ferramenta quanto algo mais próximo de um projeto artístico, quase não fiz divulgação, e ela circulou só um pouco entre pessoas da web indie. Está em alfa há alguns meses e já vejo partes que precisam mudar bastante, mas se alguém tiver curiosidade e quiser experimentar, vale a pena dar uma olhada