Search My Site – mecanismo de busca open source para sites pessoais e independentes
(searchmysite.net)- Search My Site é um mecanismo de busca para encontrar conteúdo real de sites pessoais, destacando conteúdo web independente que costuma ficar soterrado nos grandes buscadores
- Limita o escopo de indexação a sites enviados e revisados por usuários, funcionando de forma diferente de um índice da web inteira misturado com spam, conteúdo voltado para SEO e clickbait
- Não exibe anúncios e incentiva páginas de resultados sem publicidade, buscando reduzir incentivos que alimentam spam e capitalismo de vigilância
- O objetivo é adotar um modelo em que os custos operacionais sejam cobertos por funcionalidades de search as a service, em vez de anúncios, evitando conflitos entre as necessidades dos usuários e os interesses dos anunciantes
- É um projeto open source que divulga com transparência os processos de busca, ranking e indexação, e prioriza privacidade por não usar um modelo de coleta de dados pessoais baseado em publicidade
Busca centrada em sites pessoais
- searchmysite.net é um mecanismo de busca boutique para sites pessoais
- O foco é conteúdo web pessoal e independente, também conhecido como indieweb, small web e digital gardens
- É possível usar a busca pública para encontrar experiências pessoais de pessoas sobre temas, hobbies e interesses específicos
- O principal diferencial é evitar sites de marketing e spam de blogs frequentemente encontrados nos grandes mecanismos de busca
Modelo de operação sem anúncios
- O índice não cobre a internet inteira, mas apenas sites enviados por usuários e revisados
- É uma abordagem diferente de um índice da web completa misturado com spam, conteúdo otimizado para mecanismos de busca e clickbait
- Não exibe anúncios e incentiva páginas de resultados de busca sem publicidade
- O objetivo é remover incentivos que estimulam spam e capitalismo de vigilância
- Busca um modelo sustentável e orientado ao usuário em que os custos operacionais sejam cobertos não por anúncios, mas por funcionalidades de search as a service
- Como não depende da coleta de dados pessoais para vender a anunciantes, busca oferecer um alto nível de privacidade para um mecanismo de busca
- Mais detalhes podem ser consultados na Privacy Policy
Open source e participação da comunidade
- O serviço é totalmente open source
- Aumenta a transparência dos processos de busca, ranking e indexação
- Permite que a comunidade participe mais da melhoria do serviço
1 comentários
Opiniões no Hacker News
Wiby também merece ser mencionado. É um mecanismo de busca que tenta criar uma “web composta por páginas da época inicial da internet”, e seus critérios de indexação são mais ou menos: HTML simples, preferência por sites não comerciais, mínimo de scripts/CSS decorativos, nada de anúncios intrusivos que cobrem o conteúdo, e exclusão de páginas com cara de portal que levam a sites inchados
https://wiby.me
O Search My Site busca dar visibilidade a sites pessoais/independentes, enquanto o Wiby busca destacar documentos com estilização mínima; portanto, os objetivos são diferentes
Também existe o Marginalia. Já foi apresentado várias vezes no HN no passado
https://marginalia-search.com/
https://news.ycombinator.com/item?id=35611923
https://news.ycombinator.com/item?id=31536626
Outros sites relacionados: https://nownownow.com/, https://omg.lol/, https://indieweb.org/, https://ooh.directory/, https://neocities.org/, https://aboutideasnow.com/, https://indieblog.page/, https://wiby.me/, https://80.style/
Normalmente rastreio a internet para encontrar páginas, e os resultados ficam em https://github.com/rumca-js/Internet-Places-Database. Páginas pessoais recebem a tag “personal”
Gosto da simplicidade do https://pagefind.app/
Para uma ferramenta de busca de sites pessoais, Postgres me parece um banco de dados um pouco grande demais. Mesmo assim, vou experimentar, e precisamos de mais ferramentas desse tipo
Em teoria, os dados administrativos também poderiam ser armazenados no Solr, mas geralmente não se recomenda usar um repositório de documentos no estilo do Solr como armazenamento mestre de dados. Algo mais leve, como SQLite, também seria possível, mas a ferramenta foi pensada para implantação em servidor, e o Postgres também não consome tantos recursos assim
Gostei. Perdi uma hora navegando por exatamente aqueles sites pessoais aleatórios, mas feitos com cuidado, que tornavam a web ótima
Quando apareceu no HN há quase 3 anos, muita gente viu a caixa de busca e achou que era uma alternativa ao Google, e alguns ficaram decepcionados ao descobrir que não era. Hoje, mais do que nunca, parece útil ter uma forma de encontrar conteúdo da web feito por pessoas, não por IA
https://news.ycombinator.com/item?id=31395231
Projetos assim são realmente bons para encontrar blogs interessantes e sites pouco conhecidos. O que eu mais uso é o Marginalia Search
https://marginalia-search.com/
Parece bom. Ironicamente, considerando o domínio do Google nos últimos 10 anos, tenho uma forte sensação de que um dos grandes vencedores no campo de IA será um mecanismo de busca de backend
A busca moderna na web ficou poluída demais por todo tipo de técnica para chegar à primeira página do Google, e muito conteúdo bom acabou soterrado. Agora que os modelos grandes conseguem chamar a web, esse inchaço também está aparecendo na busca com IA. Precisamos de um mecanismo realmente orientado a dados, sem anúncios, mais focado em dados estruturados do que em exibição
Ao explorar o projeto, este post do blog foi o mais esclarecedor sobre os detalhes técnicos do mecanismo de busca
https://blog.searchmysite.net/posts/searchmysite.net-buildin...
Fiquei um pouco confuso. O Solr é o mecanismo de busca, mas um modelo de LLM também está carregado. Fico curioso para saber o que o modelo de LLM acrescenta a esta solução
Para manter os custos viáveis, testei com um LLM pequeno auto-hospedado, mas os resultados não foram bons o suficiente para lançar o recurso completo; por isso, o LLM foi desativado e provavelmente será removido por completo