sisi - ferramenta CLI de busca semântica de imagens local

• Ferramenta CLI para fazer busca semântica de imagens localmente, sem APIs de terceiros
• Cria e pesquisa índices de embeddings de imagens com base em node-mlx, um framework de machine learning para Node.js
• Plataformas compatíveis
  • GPU: Macs com Apple Silicon
  • CPU: Macs x64, Linux x64/arm64
• Cria um índice para as imagens de uma pasta específica com sisi index <target>
• Pesquisa imagens que contenham um conteúdo específico com sisi search 'cat jumping'

Como funciona

• O índice calcula embeddings de imagens usando o modelo CLIP da OpenAI e depois os salva em JSON binário
• A busca de imagens calcula a similaridade de cosseno entre a string de consulta e os embeddings indexados
• Não há banco de dados; a cada busca, o cálculo é feito sobre todos os embeddings armazenados. Ainda assim, é muito rápido mesmo com dezenas de milhares de fotos
• A implementação em JavaScript do modelo CLIP usa frost-beta/clip