- Um projeto DIY que construiu os buscadores Searcha Page/Seek Ninja em um servidor pessoal colocado na lavanderia, oferecendo uma experiência comparável à do Google
- Começando com um índice de cerca de 2 bilhões de páginas e mirando 4 bilhões de documentos em meio ano, combina métodos tradicionais de indexação com expansão de palavras-chave e compreensão de contexto baseadas em LLM
- Com um equipamento montado com peças de servidor usadas, no nível de um AMD EPYC 7532 (32 núcleos)·RAM de 0,5 TB, investiu um total de US$ 5 mil e reduziu custos com uma estratégia de arbitragem de upgrade (upgrade arbitrage)
- Minimiza a dependência de nuvem, mas usa a Llama 3 da SambaNova para inferência de LLM; o Seek Ninja é uma versão voltada à privacidade, sem salvar perfis nem usar localização
- A adoção de IA tornou possível uma expansão de baixo custo, e sua base de código de 150 mil linhas teve o desenvolvimento iterativo acelerado por LLMs, permitindo que uma única pessoa construísse um sistema de grande escala
- Mesmo com uma configuração pessoal e de baixo custo, obteve precisão e velocidade em buscas locais e mostra a possibilidade experimental de uma busca alternativa, inclusive considerando migrar para colocation se o tráfego crescer
Contexto: uma experiência de busca ‘quase como o Google’ com hardware pequeno
- Em contraste com a história do Google, que começou em Stanford com um servidor em uma caixa de Duplo, este caso mostra que mesmo com um único servidor antigo é possível chegar perto de uma experiência moderna de busca
- Há 30 anos, o Google começou como Backrub no campus de Stanford e usava um servidor experimental com 40 GB de dados em um gabinete feito com blocos de Duplo
- Depois foi atualizado para um pequeno rack de servidores com doações da IBM e da Intel, mas em 2025 a Busca do Google cresceu a um ponto em que nem cabe em um único data center
- O Searcha Page de Ryan Pearce implementa uma experiência moderna de busca em uma máquina do tamanho aproximado dos servidores originais do Google
- O servidor foi instalado ao lado da máquina de lavar e da secadora, tendo sido movido do quarto para aliviar problemas de calor e ruído
- Mesmo com a limitação física da lavanderia, a qualidade real dos resultados de busca é avaliada como perceptivelmente próxima do topo do mercado
- O tamanho do índice é atualmente de cerca de 2 bilhões de documentos, com projeção de chegar a 4 bilhões em 6 meses
- Métricas de comparação: Google em 1998 com 24 milhões de páginas, em 2020 com 400 bilhões de páginas
- Em escala absoluta ainda é pequeno, mas para um único servidor self-hosted é um volume enorme
Tecnologia central: indexação tradicional + suporte de LLM
- A arquitetura geral segue a estrutura tradicional de um motor de busca, mas com um desenho híbrido em que LLMs ajudam na expansão de palavras-chave e na interpretação de contexto
- Relembra a história de incorporação de IA em grandes motores de busca, como o RankBrain, e enfatiza que, independentemente da rejeição atual aos LLMs, a IA já era um elemento central da busca
- Os LLMs são usados como ferramenta prática para elevar velocidade de desenvolvimento e escalabilidade na construção de datasets e contextualização
- O operador desenvolvia iterativamente, implementando primeiro com LLM e depois substituindo por lógica tradicional, fazendo a base de código crescer até cerca de 150 mil linhas
- Considerando as iterações, ele estima uma carga real de trabalho equivalente a 500 mil linhas
Infraestrutura: indexação autônoma e a ‘arbitragem de upgrade’ com servidores usados
- O equipamento é um servidor usado baseado em AMD EPYC 7532 (32 núcleos), aproveitando ativamente a queda de preço de uma CPU que custava mais de US$ 3 mil no lançamento e hoje é negociada por menos de US$ 200
- O custo total da montagem ficou em torno de US$ 5 mil, dos quais cerca de US$ 3 mil foram para armazenamento
- Com uma configuração de 0,5 TB de RAM, entre outros pontos, ele garante capacidade para centenas de sessões simultâneas
- Mantém uma linha de self-hosting para minimizar o uso de nuvem, mas para inferência de LLM utiliza a SambaNova (Llama 3) com baixo custo e alta velocidade de acesso
- Usa corpora públicos da web, incluindo o Common Crawl, para acelerar crawler e indexador, com plano de reduzir essa dependência no longo prazo
Produto: Searcha Page e Seek Ninja
- Searcha Page: uma UX de SERP tradicional semelhante à do Google, com bons resultados inclusive em buscas locais
- Em vez de meta descriptions, menciona o uso de resumos gerados por LLM para reforçar a explicação da relevância entre consulta e documento
- Seek Ninja: uma variante privacy-first, sem salvar perfil e sem usar localização
- Uma abordagem leve e minimalista, adequada como alternativa ao modo anônimo
- Na monetização, em vez de banners excessivos, está testando anúncios de afiliados mais moderados e planeja migrar para colocation se o tráfego aumentar
Caso comparativo: a abordagem de nuvem e vetores de Wilson Lin
- Em outro experimento individual contemporâneo, Wilson Lin busca operação de baixíssimo custo combinando uma estratégia cloud-native com seu próprio motor vetorial (CoreNN)
- Gera um resumo por LLM para cada documento, expressando a correspondência entre consulta e documento de uma forma diferente
- Compartilha a visão de que a maior barreira está menos na tecnologia e mais em mercado e canais
- Pearce chegou a testar um banco de dados vetorial, mas disse que os resultados eram tão ambíguos e artísticos que voltaram às técnicas tradicionais do ponto de vista de precisão de ranqueamento
Questões operacionais: calor e ruído, e a limitação física da lavanderia
- O servidor causava problemas de convivência por conta do calor quando estava no quarto, então foi movido para a área de serviço, com perfuração para cabos a fim de manter a conectividade
- Se a porta ficar fechada por muito tempo, a retenção de calor pode virar problema, por isso a ventilação é um fator importante
- Apesar de uma postura cética em relação à nuvem, ele considera uma migração para colocation em data center de forma baseada em gatilhos, levando em conta os limites de LLM e tráfego
Significado: o experimento de um desenvolvedor solo para perseguir o Google e o papel realista dos LLMs
- Ao contrário da ideia comum de que LLMs são ferramentas que pioram a qualidade da busca, eles aparecem aqui como aceleradores de desenvolvimento e escala, dando a indivíduos a capacidade real de construir motores de busca
- A combinação de indexação tradicional + suporte de LLM é um meio-termo prático que busca precisão e poder explicativo ao mesmo tempo
- A combinação de servidores usados de baixo custo + corpora públicos + APIs baratas de LLM prova que é possível tentar uma busca alternativa sem os recursos massivos das big techs
- Ainda restam desafios como expansão para outros idiomas, custo de crawling contínuo e resistência a spam, mas o caso mostra competitividade experimental em áreas como busca de nicho e privacidade em primeiro lugar
Ainda não há comentários.