sqlite-vec - extensão de busca vetorial para SQLite

• Extensão de busca vetorial muito pequena e "rápida o suficiente" para SQLite
• Permite armazenar e consultar vetores float, int8 e binários na tabela virtual vec0
• Escrita em C puro, sem dependências, e roda em qualquer lugar onde o SQLite funcione: Linux/MacOS/Windows, navegador (WASM), Raspberry Pi etc.
• Permite fazer pré-filtragem de vetores com subconsultas rowid IN(...)
• É a sucessora do sqlite-vss

[xguru]

Estavam desenvolvendo uma extensão de busca vetorial para SQLite há 3 meses saiu um post sobre isso, e agora ela foi lançada.

Opiniões no Hacker News

• O sqlite-vec funciona em MacOS, Linux, Windows, Raspberry Pis, navegadores WASM e dispositivos móveis

  • É uma solução de busca vetorial por força bruta muito rápida
  • Como recurso experimental, permite consultar vetores em memória diretamente
  • Tem desempenho competitivo com faiss, usearch e duckdb

• Dá para ver mais detalhes no post do blog do Alex

  • Link: https://alexgarcia.xyz/blog/2024/sqlite-vec-stable-release/index.html

• Testei isso em videogames e foi excelente

• Eu estava procurando algo parecido. É útil para motores de recomendação, correspondência de música e correspondência de perceptual hash

• Já fiz algo semelhante usando duckDB como backend

  • Link: https://github.com/patricktrainer/duckdb-embedding-search

• Gosto muito deste projeto

  • Deve ter dado muito trabalho resolver os problemas de dependências
  • Quero experimentar no meu próprio projeto

• Tenho casos de uso para esse recurso

  • Obrigado ao AlexG por todo o esforço investido
  • A documentação também está muito boa

• Link relacionado: https://news.ycombinator.com/item?id=40243168

• No momento estou fazendo um tutorial de RAG usando postgreSQL e pgvector

  • Acho que dá para reproduzir isso com SQLite e sqlite-vec
  • Link: https://www.lycee.ai/courses/91b8b189-729a-471a-8ae1-717033c77eb5/chapters/a8494d55-a5f2-4e99-a0d4-8a79549c82ad

• Acho que esse recurso vai ser útil. Faço muita análise de texto pontual no notebook