Kagi Small Web

 (blog.kagi.com)
3 pontos por GN⁺ 2023-09-08 | 1 comentários | Compartilhar no WhatsApp
  • Para trazer de volta à tona conteúdo pessoal da web soterrado por anúncios e comercialização, a Kagi integrou o Small Web à busca, ao site, ao RSS e à API
  • Small Web se refere à web não comercial criada por indivíduos para autoexpressão e compartilhamento de conhecimento, mais do que por ganho financeiro, e a Kagi seleciona cerca de 6.000 sites para coletar conteúdo novo
  • A busca da Kagi usa os índices Teclis e TinyGem para mostrar também posts de blogs pessoais mesmo em buscas genéricas como swiftui e apple watch
  • O novo site Kagi Small Web funciona sem JavaScript e permite deixar um “appreciate” em posts ou escrever notas públicas que desaparecem depois de cerca de 1 semana
  • Operadores de sites podem participar pela lista curada no GitHub, pelo site de feedback e pelo Discord, enquanto o RSS é atualizado a cada 5 horas e a API custa 2 dólares por 1.000 consultas

A web que o Kagi Small Web quer alcançar

  • Kagi Small Web é uma iniciativa da Kagi para construir uma web mais humana
  • “Small Web” não tem uma definição única, mas normalmente se refere à web não comercial criada para autoexpressão pessoal ou compartilhamento de conhecimento, e não para lucro financeiro
  • Esse conceito se conecta ao clima da web inicial, menos comercializada, antes de o modelo de negócios baseado em anúncios dominar a internet
  • Como material para entender melhor o tema, foi apresentado The Small Web is Beautiful, de Ben Hoyt, e o repositório no GitHub também liga para uma lista de textos relacionados

Como o conteúdo é reunido e exibido

  • O Kagi Small Web reúne textos publicados na última semana a partir de uma lista curada de blogs e os mostra por vários caminhos
  • Usuários atuais da Kagi não precisam configurar nada separadamente para ver conteúdo do Small Web nos resultados de busca
  • Esse experimento foi inspirado por uma discussão no Hacker News e começou no fim de julho exibindo nos resultados de busca posts de blog de usuários do HN
  • Atualmente, a lista curada inclui cerca de 6.000 sites reais operados por pessoas com interesses diversos
  • Toda a iniciativa e a lista de sites curados estão publicadas no GitHub da Kagi

A web pessoal dentro dos resultados de busca

  • A Kagi já mostrava conteúdo do Small Web antes por meio de seus próprios índices de busca Teclis e TinyGem
  • Com esta integração, conteúdo web de alta qualidade, mas menos conhecido, aparece de forma mais direta como diferencial nos resultados de busca da Kagi
  • Exemplos de busca
  • Ao contrário de resultados centrados em grandes sites, isso permite descobrir perspectivas mais diversas sobre o mesmo tema

Site do Kagi Small Web

  • O site do Kagi Small Web é uma nova plataforma para destacar conteúdo recente do Small Web que passa facilmente despercebido em mecanismos de busca tradicionais
  • O site funciona sem JavaScript, em linha com o espírito do Small Web
  • Usuários podem deixar um “appreciate” nos posts ou publicar notas públicas temporárias
    • As notas desaparecem depois de cerca de 1 semana à medida que novo conteúdo circula
    • Esse design enfatiza o caráter temporário e imperfeito do Small Web
  • Quando foi mostrado antecipadamente a alguns beta testers do canal no Discord, um usuário disse que ver seu blog incluído no feed curado o fez querer escrever mais

Critérios de curadoria e condições de publicação

  • Para entrar no feed curado, é preciso atender aos critérios abaixo
    • O blog precisa ter posts de pelo menos 3 anos atrás
    • O conteúdo deve estar em inglês
    • O site deve oferecer autoexpressão autêntica ou alto valor informativo
    • Conteúdo NSFW é excluído
  • Para que um post apareça no site do Kagi Small Web, há condições adicionais
    • O post deve ter sido publicado nos últimos 7 dias
    • O site deve ser compatível com incorporação por iframe
    • Sites não compatíveis com iframe ainda podem continuar sendo indexados para os resultados de busca
  • O código do site também está disponível como código aberto, e eles aceitam pull requests

Experimento Small YouTube

  • A Kagi também oferece o recurso experimental Small YouTube
  • Esse recurso destaca conteúdo de criadores do YouTube em ascensão com menos de 400 mil inscritos
  • A Kagi está recebendo feedback sobre esse critério

RSS, API e caminhos de participação

  • O feed RSS do Kagi Small Web fornece atualizações em tempo real e é atualizado a cada 5 horas
  • Usuários da API podem acessar notícias de alta qualidade fora do mainstream pelo índice TinyGem integrado ao Kagi Small Web
    • O preço é de 2 dólares por 1.000 consultas
  • Se houver sites faltando ou inclusões inadequadas, é possível contribuir para a lista curada seguindo as diretrizes
  • Relatos de bugs e sugestões de recursos devem ser enviados em kagifeedback.org com a tag small-web
  • A discussão geral acontece no Discord da Kagi

A premissa que o projeto assume

  • Se a web foi feita por inúmeras pessoas, este projeto parte da pergunta sobre por que elas ficam ocultas nos mecanismos de busca tradicionais e como corrigir isso
  • Como o conteúdo rastreado pode incluir qualquer coisa, a Kagi entende que recomendá-lo exige uma escolha que coloca sua reputação em jogo
  • Quem contribui para o Small Web cria investindo tempo e esforço mesmo sem ter público garantido
  • O objetivo da Kagi é reviver uma web mais humana, com muita criatividade, autoexpressão e conteúdo significativo

Leituras relacionadas

1 comentários

 
GN⁺ 2023-09-08
Opiniões no Hacker News

  • Aqui é o Vlad, da Kagi. Assim que publicamos o post no blog, o feed RSS quebrou inesperadamente, o que pareceu bem no espírito da small web :) Agora o feed foi restaurado e, como o site usa o mesmo feed, voltou a funcionar
    Este foi um projeto pelo qual tive carinho pessoalmente e, como a equipe estava ocupada com outras coisas, acabei mexendo bastante diretamente no código. Quando digo que “o feed quebrou”, na verdade quero dizer que eu o quebrei. Para um desenvolvedor à moda antiga, software é um trabalho bagunçado, e, ao continuar voltando para corrigir algo que eu já achava que estava ok, também aprendi que não sou mais um bom programador. O código pode ser visto no repositório vinculado: https://github.com/kagisearch/smallweb
    Mais importante: este site substituiu, para mim, a necessidade de descoberta, e foi bom sentir que eu estava conhecendo pessoas e textos variados. Muitas coisas inesperadas apareceram, e a web voltou a parecer mais próxima. Há um fio de esperança nesse conceito, e também há melhorias reais na qualidade e na diversidade da busca
    A lista de sites incluídos pode ser vista aqui: https://github.com/kagisearch/smallweb/blob/main/smallyt.txt
    Os posts mais recentes já aparecem nos resultados de busca da Kagi para consultas relacionadas: https://kagi.com/smallweb

    • Estou muito feliz que esse recurso tenha sido lançado. Dar mais visibilidade à web indie/de pequena escala é excelente. Já reclamei antes no HN que blogs pessoais úteis ficam soterrados sob conteúdo spammy dos mecanismos de busca
      No futuro, seria ótimo poder pesquisar apenas dentro da small web, e talvez isso possa ser oferecido depois como uma lente
      Quanto às regras de autopromoção, não concordo com a política atual. Se for um blog antigo, mesmo reduzindo o critério para algo como 1 ano, seria bom permitir que as pessoas o submetessem diretamente. A maior parte da web pequena/indie sofre com falta de exposição, então isso ajudaria. Meu blog parece já estar no índice porque foi coletado naquele antigo post “compartilhe seu blog no HN”, mas outras pessoas podem não ter tido tanta sorte
    • Quanto mais uso a Kagi pagando, mais triste fico com a possibilidade de ela desaparecer se não conseguir mais usuários
      Para mim, a Kagi é uma conquista enorme. É o primeiro mecanismo de busca que entrega resultados melhores que os do Google, respeita a privacidade e oferece personalização e mais recursos
    • Sou cliente pagante, e esta é mais uma ótima adição. Esse tipo de coisa só a Kagi consegue fazer. Espero que continuem fazendo trabalhos desse tipo
    • Isto não teria sido mais provavelmente inspirado pela Marginalia do que pelo thread de blogs pessoais? No exemplo do Apple Watch, os resultados não são os mesmos, mas foi a primeira coisa que me veio à cabeça assim que li o título do post
      É https://search.marginalia.nu, e ela também é mencionada com frequência no HN: https://hn.algolia.com/?query=marginalia
    • Boa tentativa. Os resultados também parecem legais, e, se forem integrados aos resultados principais de busca, devem permitir dar uma espiada fora da web gigante
      Sou cliente da Kagi e estou muito satisfeito. O mecanismo de busca é surpreendentemente bom, e esse recurso me deixa ainda mais contente com a minha escolha de buscador

  • A frase “Estas notas serão substituídas por novo conteúdo e desaparecerão em cerca de uma semana. Isso enfatiza a natureza efêmera e imperfeita da small web.” poderia simplesmente admitir que a Kagi não quer moderar as notas nem armazená-las permanentemente. Não há necessidade de diminuir a small web. Muitos sites pequenos preservam bem seu conteúdo
    A Kagi pode até ter dados sobre a frequência com que sites saem do ar, mas, pela minha experiência, conteúdo em grandes plataformas também desaparece com frequência, mesmo quando não é porque o criador esqueceu. Sites da small web feitos por criadores que se importam têm, na verdade, potencial para durar muito mais

    • Onde essas notas aparecem?
      Seria ótimo se a Kagi Small Web tivesse uma interface ActivityPub, para que os sites mais bem avaliados do dia pudessem ser adicionados a uma timeline do Mastodon ou do Lemmy
    • É uma frase curiosa. A maioria dos sites pessoais realmente se esforça para que links de 10, 20 anos não quebrem :P

  • O Kagi vale muito o que custa. Venho usando como mecanismo de busca principal há 6 meses e, nesse período, acho que usei o Google !g umas 10 vezes

    • Só o fato de poder bloquear sites lixo de SEO como GeeksForGeeks e de os primeiros 3 a 5 resultados não virem cheios de anúncios já faz valer a pena. Também é bom poder elevar os resultados de determinados sites em nível de personalização
      O único ponto chato é que eu uso busca bastante e também pesquiso por engano com frequência, então às vezes acabo passando todo mês do volume de buscas do plano “Pro”. Ainda assim, é bom ter a opção de comprar buscas adicionais sem precisar subir para o plano ilimitado, que é bem caro
    • Depois de se acostumar com o Kagi, fazer uma busca no Google no computador de outra pessoa dá uma sensação muito estranha. Recentemente pedi uma pequena melhoria de usabilidade e ela foi implementada em poucas semanas. Não há nenhuma chance de isso acontecer em outros mecanismos de busca
      Os resultados de busca são consistentemente melhores do que em outros lugares, incluindo o DuckDuckGo, então vou continuar sendo um cliente pagante satisfeito
    • Concordo. Uso a versão paga com satisfação há pouco mais de 1 ano e, antes disso, também usei a beta
      A sensação é um pouco parecida com quando descobri o Google pela primeira vez, na época em que existia o AltaVista
    • Sou mais um usuário muito satisfeito com o Kagi. Vale muito a pena pagar, e é um bom exemplo de que tipo de serviço se torna possível quando você está disposto a pagar um pouco
    • Acrescentando uma visão um pouco menos positiva: testei o Kagi por algumas semanas e gostei dos recursos e do modelo de negócio, mas os resultados de busca não eram melhores do que os da minha instância do Searx. O Kagi basicamente faz chamadas de API anonimizadas a mecanismos de busca de terceiros, de modo parecido com o Searx, só que embalado em uma interface mais amigável, e a experiência também não é muito diferente
      Além disso, o Searx dá suporte a muito mais mecanismos de busca e pode ser configurado exatamente como eu quiser
      É claro que o Kagi tem boas intenções e um bom produto, então desejo que dê certo, mas prefiro uma solução equivalente, open source e auto-hospedada, ainda que seja menos polida e tenha menos recursos, a um SaaS proprietário que exige criar uma conta
      Edição: na verdade, eu estava errado. O Kagi também tem seu próprio crawler e índice: https://help.kagi.com/kagi/search-details/search-sources.html Ainda assim, não sinto que os resultados do Searx sejam insuficientes, então não estou perdendo muita coisa
      O que me preocupa no Searx, e em parte no Kagi, é que terceiros podem bloquear essas requisições de API a qualquer momento; nesse caso, o Searx se tornaria inutilizável e os resultados do Kagi poderiam ficar menos relevantes. Não sei se esse modelo é sustentável para criar um mecanismo de busca, mas admiro a postura do Kagi e do Searx em relação a anúncios. Usar mecanismos de busca tradicionais com um frontend próprio é, sendo generoso, uma experiência frustrante

  • É por coisas assim que fico muito feliz de ser assinante do Kagi. Além de obter valor do Kagi, isso mostra que o dinheiro que pago é usado para desenvolver o Kagi em uma direção com a qual concordo
    Em comparação, o Spotify é apenas uma das assinaturas que uso, mas parece hostil. Eu pago, mas, se sentisse que existe uma alternativa, cancelaria na hora
    Valorizo muito o fato de que aquilo que sinto estar comprando está alinhado com o rumo do desenvolvimento do Kagi

    • Streaming de música é uma bagunça. Tentei bastante encontrar um serviço bom, mas todos tinham problemas vergonhosos
      O Spotify é realmente hostil, manipulador e péssimo para os artistas. Para mim, a tela inicial é comercial demais, e a interface do CarPlay é, sinceramente, um desastre hostil ao usuário a ponto de ser insegura
      O TIDAL é bem bom em muitos aspectos. Também paga bem aos artistas e as recomendações são boas. Mas há bugs idiotas no app que estão lá há anos; o mais irritante é que, ao colocar uma playlist em modo aleatório, a interface só embaralha a dúzia de músicas pré-cacheadas no topo. Quando tento embaralhar a biblioteca inteira, acabo ouvindo sempre a mesma dúzia de músicas
      Eu queria gostar do Deezer, mas o app não era bom e faltavam mais músicas do que eu esperava
      No fim, fiquei com o Apple Music. Como uso iPhone, ele se encaixa naturalmente, e a interface do CarPlay também é excelente. O pagamento aos artistas chega bem perto do TIDAL. As recomendações são boas o suficiente, e a tela inicial também não dá muito a sensação de ficar empurrando apenas o que grandes gravadoras pagaram para promover. O app para Windows é horrível e não há app para Linux, mas, felizmente, um app open source bastante excelente chamado Cider resolve esse problema

  • Parece que vocês estão removendo MathML do feed RSS; isso é intencional ou estão usando uma ferramenta antiga de limpeza que não reconhece isso? Por exemplo, meu feed RSS https://www.jefftk.com/news.rss tem, no post mais recente https://www.jefftk.com/p/weekly-incidence-vs-cumulative-infections, o seguinte
    <math display="block">
    <msup><mi>e</mi>
    <mrow><mi>k</mi><mi>t</mi></mrow></msup>
    </math>
    Mas, no feed RSS do Kagi https://kagi.com/api/v1/smallweb/feed, aparece como e e kt
    Edição: registrei uma issue: https://github.com/kagisearch/smallweb/issues/10

  • Tenho algumas perguntas.
    Primeiro, fico curioso sobre a justificativa para dar preferência a atualizações recentes de blogs. Pela minha experiência, atualizações recentes costumam ser os resultados de busca mais fracos, são mais vulneráveis a mudanças ou links quebrados e, no geral, tendem a ter qualidade mais baixa. Também me pergunto se impulsionar conteúdo recente não criaria um incentivo para despejar textos de baixa qualidade a fim de aumentar as chances de aparecer na lista.
    Segundo, quando se mexe um pouco nessa área, ela sempre acaba pendendo de forma quase absurda para blogs de tecnologia/programadores. É verdade que há uma forte sobreposição entre o grupo de pessoas que têm blogs e o grupo com interesses de programadores, mas acho que, se outros interesses fossem melhor representados, isso também seria mais atraente para outros grupos. Fico curioso se vocês pensaram nisso e, se sim, o que acham que poderia ser feito.

    • Viktor, oi!
      Sobre o primeiro ponto, há alguns fatores. Para a mesma consulta, conteúdos mais recentes muitas vezes são mais relevantes e, no mínimo, a novidade ajuda a impedir que se tornem completamente irrelevantes. A coisa que um mecanismo de busca mais precisa evitar são resultados totalmente irrelevantes. A qualidade é garantida em alguma medida pelo fato de, para começo de conversa, ser uma lista curada.
      Como dependemos da tecnologia de feeds RSS, foi relativamente fácil coletar e manter a lista, e também havia muitas fontes para usar como dados iniciais.
      Focar em posts recentes pode incentivar algumas pessoas a escrever mais, como no exemplo destacado no post do blog. A web, de modo geral, precisa de mais conteúdo não comercial de alta qualidade, e, no fim das contas, é para isso que queremos contribuir. Ao oferecer uma plataforma, ainda que muito pequena, para incentivar esse tipo de comportamento, chegamos um passo mais perto da web de que gostamos.
      Sobre o segundo ponto, concordo em grande parte. Dito isso, para esta iniciativa tentamos criar um conjunto diversificado de sites e, por exemplo, vejo muitos sites de economia e fotografia. No fim, só podemos incentivar que mais conteúdo de áreas variadas seja criado por meio de plataformas como Kagi ou Marginalia e torcer para que dê certo.

  • Muito legal! Nos últimos 2 meses, tenho feito uma jornada pessoal explorando links da small web. Começou com o post do HN “Ask HN: vocês podem compartilhar seus blogs pessoais?”, e também descobri que alguém criou um site, https://dm.hn/, organizando os links daquele post.
    Exportei todos os 1651 links de blogs para XLS e, de vez em quando, abro 5 a 7 deles, leio posts aleatórios e marco como “visto”. Até agora, vi 250 dos 1651.
    Seria ótimo se o Kagi também tivesse uma função parecida, em que fosse possível ver em um só lugar links de sites pessoais reunidos de todas as fontes.

  • Obrigado por dar um link de destaque para meu texto “The Small Web is Beautiful”. Eu o considero meu manifesto pessoal de software, então fico feliz em vê-lo sendo divulgado mais amplamente.
    Gosto muito do trabalho que vocês estão fazendo no Kagi Small Web. Gosto da iniciativa de começar a trazer esse excelente conteúdo à superfície. Espero que continuem assim. Também estou pensando em experimentar a busca do Kagi.

    • Ben, obrigado por escrever esse texto. É realmente inspirador. Espero que você também goste da experiência de usar o Kagi.

  • Vlad, muito legal! É difícil saber o quanto isso realmente ajuda usuários ou a empresa, mas aquece o coração saber que esse tipo de coisa ainda acontece na internet moderna.

    • Obrigado. Era simplesmente uma das coisas que eu queria fazer, e escrevi 100% do código, do início ao fim, pessoalmente para isso, o que tomou boa parte de quase um mês. Dá para dizer que não é o melhor uso do tempo de um CEO, mas foi divertido e pareceu a coisa certa a fazer.

  • Eu gostaria de adicionar meu site à lista, mas parece que envios diretos não são permitidos porque bloqueio todos os crawlers no robots.txt. Há alguma forma de ele ser adicionado?
    Eu ficaria feliz em aparecer nos resultados de busca do Kagi, mas não quero ser raspado pelo Google, ChatGPT e a turma que vem depois, então bloqueei tudo da maneira mais simples.