Marginalia, o mecanismo de busca que prioriza conteúdo não comercial
(marginalia-search.com)- Marginalia Search é um mecanismo de busca focado em explorar uma web menos otimizada comercialmente e em reencontrar sites antigos e esquecidos
- Além da busca, ele oferece caminhos para navegação e descoberta de sites, e a versão anterior continua disponível em old-search.marginalia.nu
- O projeto é disponibilizado como código aberto e destaca uma arquitetura técnica simples, com índice e crawler próprios e sem uso de IA
- O código-fonte é publicado sob a licença AGPL, e é possível acessar materiais do projeto e a comunidade pelo repositório Git e pelo Discord do projeto
- Segue o GDPR de forma que não coleta informações pessoais, e o uso de cookies e a retenção de logs de IP são operados de forma limitada
Mecanismo de busca focado na exploração da web não comercial
- Marginalia Search é um mecanismo de busca que prioriza conteúdo não comercial
- Destaca a capacidade de encontrar sites antigos e esquecidos, oferecendo também ferramentas para busca e descoberta
- A versão anterior continua disponível em old-search.marginalia.nu
Projeto de código aberto e canais de operação
- O projeto é disponibilizado como código aberto
- Usa software próprio de indexação e crawler
- Destaca uma arquitetura técnica simples, sem uso de IA
- A licença é AGPL
- Links relacionados
Privacidade e política de logs
- Por padrão, o projeto busca proteger a privacidade
- Filtra rastreamento
- Não compartilha dados com terceiros
- Não armazena IPs por longos períodos
- O site segue o GDPR de forma a não coletar informações pessoais
- Os cookies não são usados para finalidades além da prestação do serviço, em conformidade com a Diretiva de Cookies da UE
- Logs de acesso com endereços IP são mantidos por no máximo 24 horas
- Logs anonimizados, com o endereço de origem removido, podem ser mantidos por mais tempo para ajudar no diagnóstico de bugs
- O contato é contact@marginalia-search.com
- A informação de localização de IP usa dados do IP2Location LITE, com licença CC-BY-SA 4.0
1 comentários
Opiniões no Hacker News
Escrevi recentemente um ensaio sobre este mecanismo de busca e seu algoritmo de ranqueamento
O Marginalia inicial usava Personalized PageRank, uma variação interessante do PageRank abordada no artigo original, e acredito que hoje o ranqueamento das páginas seja feito com BM25
Personalized PageRank ainda parece ser usado também no novo recurso do Marginalia de ranqueamento de páginas baseado em similaridade, e aparentemente já foi integrado ao site, embora antes houvesse apenas uma página de testes (https://explore2.marginalia.nu/)
De todo modo, tenho muito respeito pelo criador, e foi interessante acompanhar como o Marginalia cresceu bastante e ler os posts do blog (https://www.marginalia.nu/log/)
Post relacionado: https://www.marginalia.nu/log/26-personalized-pagerank/
Ele influencia principalmente a ordem física dos resultados dentro do índice e, como o tempo de execução das consultas é limitado, serve mais para fazer com que resultados de ranqueamento mais alto sejam encontrados primeiro
O Explore2 e a ferramenta de descoberta de sites embutida no mecanismo de busca usam a similaridade de cosseno dos vetores de links recebidos
Também escrevi um texto chamado “Creepy Website Similarity” sobre essa técnica :-) https://www.marginalia.nu/log/69-creepy-website-similarity/
Sou o criador. Recentemente mudei o site de search.marginalia.nu para marginalia-search.com e também dei uma leve refinada no visual
Foi porque senti que ele funcionava bem demais para ficar como um subdomínio esquisito do meu blog
O mecanismo de busca em si continua o mesmo :-)
Com que frequência o Marginalia recrawleia os sites indexados?
Para quem não acompanha este projeto, ele é um projeto de paixão de uma pessoa só e não tem como objetivo competir com Google/Bing/DDG
É mais uma forma de encontrar coisas interessantes na “pequena web”
É bom manter isso em mente ao experimentá-lo
Para constar, eu não sou o criador
É sim um projeto de paixão, mas não é apenas um projeto paralelo simples
Os mecanismos de busca mainstream parecem ter uma etapa que “emburrece” a entrada: se você coloca termos de busca desconhecidos, eles parecem presumir que é um erro de digitação ou algo lembrado incorretamente e enviam ao backend uma expressão diferente daquela que eu pesquisei
Além disso, os mecanismos de busca mainstream parecem se esforçar para priorizar mídia corporativa em vez de conteúdo original e autoritativo
O criador continua dizendo que é “para encontrar coisas interessantes na pequena web”, mas para mim ele não foi apenas interessante, foi de fato útil
Dito isso, desde que mudei para o Kagi há quase 3 anos, deixei de precisar manter gambiarras como mecanismos de busca separados por tema
Divulgação completa: outras pessoas frequentemente retrucam dizendo que os resultados do Google são bons ou que os do Kagi são ruins, mas, no meu caso, tenho mais de 10 anos de histórico em que o Google falhou de forma consistente até em consultas simples; seria ótimo se o Google funcionasse bem para mim, mas cansei porque ele não funciona de forma confiável para mim há mais de uma década
Não tenho nada especialmente novo a acrescentar, mas gosto sempre que este projeto aparece no HN
É um projeto que mostra bem o que dá para construir com paciência e carinho
Fiquei surpreso ao ver que, no momento, aparentemente não há uma busca bang do Marginalia no DDG
<https://duckduckgo.com/bangs?q=marginalia>
Enviei como sugestão
Pesquisei de novo algumas coisas que tinha procurado recentemente no Google, como “celery”, “Wardian case”, “ferry from Italy to Greece”, e em todos os casos o primeiro resultado parecia bem plausível
Pretendo experimentar
É uma das coisas mais agradáveis, úteis e saudáveis que vi na web em muito tempo
Tecnicamente também parece muito sólido, e a experiência de uso é impecável
Muito obrigado por me levar de volta aos dias gloriosos da internet
Testei alguns termos de busca relativamente simples em áreas que me interessam, por exemplo “attention is all you need paper”, “sip rfc”, “klatt speech synthesizer”, “crafting interpreters book”, “Scott Alexander Substack”, e os resultados que eu esperava de fato não apareceram
O Marginalia parece razoavelmente bom quando você quer aprender algo, mas não parece adequado quando quer encontrar um alvo específico
Se você quiser ler o que as pessoas pensam sobre o Substack do Scott Alexander, ele traz bons resultados, mas não quando você quer encontrar a newsletter em si
Sinto que o Google já faz isso muito bem, então não é uma grande prioridade
Tenho concentrado meus esforços principalmente no que o Google não faz bem: encontrar conteúdo de pessoas sobre algum tema
Do ponto de vista de um operador de site, gostei especialmente do fato de ele expor os backlinks descobertos
Graças a esse serviço, descobri alguns backlinks que eu não conhecia
Isso já foi bastante discutido na época do domínio anterior, marginalia.nu
Phrase matching in Marginalia Search - https://news.ycombinator.com/item?id=41696046 - setembro de 2024, 24 comentários
Marginalia: 3 Years - https://news.ycombinator.com/item?id=39501061 - fevereiro de 2024, 44 comentários
Interview with Viktor Lofgren from Marginalia Search - https://news.ycombinator.com/item?id=38470832 - novembro de 2023, 21 comentários
Moving Marginalia to a new server - https://news.ycombinator.com/item?id=37800753 - outubro de 2023, 39 comentários
Marginalia.nu API - https://news.ycombinator.com/item?id=35871186 - maio de 2023, 22 comentários
Marginalia: DIY search engine that focuses on non-commercial content - https://news.ycombinator.com/item?id=35611923 - abril de 2023, 193 comentários
Marginalia Search has received an NLNet grant - https://news.ycombinator.com/item?id=34945541 - fevereiro de 2023, 17 comentários
A Theoretical Justification (2021) - https://news.ycombinator.com/item?id=32586273 - agosto de 2022, 22 comentários
The Evolution of Marginalia's Crawling - https://news.ycombinator.com/item?id=32565052 - agosto de 2022, 22 comentários
Marginalia Goes Open Source - https://news.ycombinator.com/item?id=31536626 - maio de 2022, 72 comentários
Uncertain Future for Marginalia Search - https://news.ycombinator.com/item?id=31200319 - abril de 2022, 37 comentários
Marginalia Search: 1 Year - https://news.ycombinator.com/item?id=30823481 - março de 2022, 29 comentários
Show HN: Marginalia – Exploration Mode - https://news.ycombinator.com/item?id=30047455 - janeiro de 2022, 53 comentários
A search engine that favors text-heavy sites and punishes modern web design - https://news.ycombinator.com/item?id=28550764 - setembro de 2021, 717 comentários
https://news.ycombinator.com/user?id=marginalia_nu
Gosto desse projeto e quero tentar fazer um projeto parecido em um futuro próximo