- O primeiro armazenamento de objetos em nuvem com suporte nativo a vetores em larga escala
- Pode reduzir em até 90% os custos de armazenamento, upload e consulta de dados vetoriais, com desempenho de consulta em subsegundos
- Introduz os conceitos de vector buckets e vector indexes, otimizando o armazenamento e a busca de grandes volumes de dados vetoriais para workloads de IA generativa, como embeddings de IA e RAG
- Integrado a serviços da AWS como Amazon Bedrock, SageMaker e OpenSearch, permitindo gerenciamento de vetores e busca em tempo real com equilíbrio entre custo e desempenho
- Sem necessidade de montar infraestrutura, oferece vários cenários de uso para armazenar, gerenciar, consultar, exportar e integrar dados vetoriais com console, CLI, SDK e API
O que é o Amazon S3 Vectors?
- Amazon S3 Vectors é um novo armazenamento dedicado do S3 para guardar grandes conjuntos de dados vetoriais e oferecer busca vetorial rápida (semantic/similarity search)
- Projetado para gerenciar com eficiência dados vetoriais (embeddings) usados com frequência em IA generativa
- Oferece um novo tipo de bucket do S3 chamado vector bucket; cada vector bucket pode ter até 10.000 vector indexes, e cada índice pode armazenar dezenas de milhões de vetores
- Suporta atribuição de metadados (key-value) por vetor, permitindo consultas com filtragem por condições
Otimização de custo e desempenho, e automação
- Pode reduzir em até 90% os custos de upload, armazenamento e consulta de dados vetoriais
- Mesmo com o crescimento dos dados, o S3 Vectors otimiza tudo automaticamente, mantendo custo e desempenho de forma contínua
- Oferece métricas de distância Cosine/Euclidean, proporcionando um ambiente de busca flexível compatível com modelos de embeddings de IA
Integração com serviços AWS e infraestrutura de IA
- Integração nativa com Amazon Bedrock Knowledge Bases e uso direto no SageMaker Unified Studio
- Em conjunto com o OpenSearch Service, dados de longo prazo ou baixa frequência podem ficar no S3, enquanto buscas de alta frequência ou em tempo real podem ser migradas para o OpenSearch (coleções vetoriais serverless)
- Adequado para várias aplicações de IA, como sistemas de recomendação, RAG, análise de documentos e recomendações personalizadas
Principais formas de uso
Criação de vector buckets e indexes
- Criar um vector bucket pelo menu Vector buckets no console
- Ao criar o bucket, é possível definir opções de criptografia (SSE-S3, SSE-KMS)
- Adicionar vector indexes a cada bucket, definindo por índice o número de dimensões e a métrica de distância
Inserção e consulta de dados vetoriais
- Inserir e gerenciar vetores usando AWS CLI, SDK e REST API
- Gerar embeddings de texto no Amazon Bedrock → inserir vetores no S3 Vectors
- Exemplo: após gerar embeddings com
boto3, fazer upload dos dados para o índice com a API s3vectors.put_vectors
- É possível consultar por condições como gênero e categoria usando metadados
Integração com OpenSearch e exportação
- Usar Export to OpenSearch no console para migrar um índice do S3 Vector para o OpenSearch
- Criação automática de coleção serverless e expansão para workloads de busca vetorial e análise em tempo real
Principais características e ambientes compatíveis
- Buckets vetoriais do S3 têm criptografia aplicada por padrão (SSE-S3), com suporte adicional à opção KMS
- Uso automatizado/programático via CLI/SDK/REST API
- Regiões com suporte à prévia no momento: leste/oeste dos EUA, Europa (Frankfurt) e Ásia (Sydney)
Cenários de integração e uso
- Suporta vários casos de uso de vetores em diferentes setores, como RAG, memória de agentes, busca por similaridade/semântica, análise inteligente de documentos, recomendações personalizadas e análise automatizada de conteúdo
- Integrado ao ecossistema AWS, como OpenSearch, SageMaker e Bedrock, permite criar soluções de IA baseadas em vetores com boa relação custo-benefício e escaláveis em larga escala
Referências e materiais adicionais
Ainda não há comentários.