O que é um banco de dados vetorial?

• Aplicações de IA dependem de vector embeddings
  • Os embeddings são gerados por modelos de IA e, como têm um grande número de atributos/features, são difíceis de gerenciar
  • Em IA e ML, essas features representam várias dimensões dos dados que são essenciais para entender padrões, relações e a estrutura subjacente
• Bancos de dados vetoriais como o Pinecone são DBs especializados em armazenar e consultar esses dados de embeddings de forma otimizada
• Com um vector DB, é possível implementar na IA recursos avançados como busca de informação semântica e memória de longo prazo
  • Gerar vector embeddings do conteúdo a ser indexado por meio de um modelo de embeddings
  • Inserir os vector embeddings no vector DB, incluindo referências ao conteúdo original de onde os embeddings foram gerados
  • Quando a aplicação faz uma consulta, ela gera um embedding para a consulta usando o mesmo modelo de embeddings e usa esse embedding para pesquisar no DB e encontrar vector embeddings semelhantes
  • Esses embeddings estão conectados ao conteúdo original

Diferença entre Vector Index e Vector DB

• Índices vetoriais como o FAISS (Facebook AI Similarity Search) também melhoram a busca em vector embeddings, mas não têm as funcionalidades de um DB
• Um vector DB oferece várias vantagens
  • Recursos de gerenciamento de dados: inserção, exclusão e atualização de dados com facilidade
  • Armazenamento e filtragem de metadados: é possível armazenar metadados para cada vetor
  • Escalabilidade: oferece recursos de processamento distribuído e paralelo
  • Suporte a atualizações em tempo real
  • Recursos de backup e collections (backup selecionando apenas alguns índices)
  • Integração com ecossistemas: integração com ETL (Spark), ferramentas analíticas (Tableau, Segment), visualização (Grafana) etc. Integração com ferramentas de IA (LangChain, LlamaIndex, ChatGPT Plugins)
  • Segurança de dados e gerenciamento de permissões de acesso

Como funciona um Vector DB? (apenas os subtítulos foram movidos)

• Algoritmos: ANN, Random Projection, Product Quantization, Locality-sensitive hashing, Hierarchical Navigable Small World (HSNW)
• Medição de similaridade
• Filtragem
• Operações de banco de dados

Resumo

• Com o crescimento explosivo dos vector embeddings em NLP, visão computacional e outras aplicações de IA, surgiram os bancos de dados vetoriais
• Um banco de dados vetorial foi criado especificamente para resolver os problemas que surgem ao gerenciar vector embeddings em cenários de produção
• Oferece vantagens significativas em relação a bancos de dados tradicionais baseados em escalares e a índices vetoriais standalone