Embeddings estão sendo subestimados (2024)

• Embeddings oferecem potencial para avanços revolucionários na escrita técnica atualmente
• Têm a característica de retornar um array numérico de dimensão fixa, independentemente do tamanho do texto de entrada
• Esse array numérico torna possível a comparação matemática entre textos arbitrários
• Embeddings calculam distâncias de acordo com o significado do texto em um espaço multidimensional, permitindo vários usos, como recomendações por relação, análise semântica e mais
• No futuro, espera-se que sites de documentação técnica ampliem novos casos de uso em ferramentas e na comunidade ao disponibilizar dados de embeddings

---

Visão geral da tecnologia de embeddings baseada em machine learning

• Na área de machine learning, ao contrário dos modelos de geração de texto, os embeddings têm potencial para causar um impacto revolucionário na escrita técnica
• Nos últimos anos, o uso de embeddings se tornou muito mais acessível
• Com embeddings, redatores técnicos podem realizar comparações e análises semânticas entre diferentes textos

Construindo uma intuição sobre embeddings

• Embeddings recebem um texto como entrada (palavra, frase, vários documentos etc.) e retornam um array numérico de tamanho fixo
• Independentemente do comprimento do texto de entrada, sempre é gerado um array de dados com o mesmo tamanho
• Isso cria a possibilidade de comparação matemática até mesmo entre textos arbitrários de comprimentos diferentes

Como gerar embeddings

• É possível gerar embeddings com apenas algumas linhas de código por meio dos principais provedores de serviço
• O tamanho do array do embedding varia conforme o modelo usado; no caso do Gemini, são retornados 768 valores, e no caso do Voyage AI, 1024
• Como o significado dos embeddings muda completamente dependendo do provedor ou do modelo, não há compatibilidade entre eles

Custo e impacto ambiental

• A geração de embeddings em si não tem custo elevado
• Estima-se que o processo consuma menos recursos computacionais do que modelos de geração de texto, embora sejam necessárias mais informações sobre o impacto ambiental

Critérios para escolher um modelo de embedding

• O modelo mais adequado varia de acordo com a capacidade de suportar grandes volumes de dados de entrada
• O voyage-3 da Voyage AI oferece o maior limite de entrada em 2024
• É importante escolher o modelo de acordo com o objetivo de uso e as necessidades

O conceito de espaço multidimensional

• Cada valor do array numérico do embedding corresponde a uma coordenada em um espaço multidimensional, e as características do texto são representadas por sua posição semântica nesse espaço
• Por exemplo, operações como king - man + woman ≈ queen mostram a possibilidade de representar relações semânticas
• As características de cada dimensão no espaço de embeddings são, em sua maioria, obscuras e abstratas
• Esse processo permite que a máquina aprenda significado e faça inferência semântica sobre texto

Comparação e armazenamento de embeddings

• Os embeddings gerados são armazenados em um banco de dados ou similar para cada texto, como por exemplo cada página
• É possível determinar a similaridade semântica calculando a distância matemática entre dois embeddings, usando álgebra linear
• Com bibliotecas como NumPy e scikit-learn, o esforço para implementar fórmulas complexas é pequeno

Exemplos de aplicação de embeddings

• Em sites de documentação técnica, embeddings são usados de forma eficaz em recursos de recomendação de páginas relacionadas
• Depois de gerar embeddings para cada página, é possível recomendar documentos semanticamente relacionados entre páginas com alta similaridade numérica
• Sempre que o conteúdo de uma página muda, basta atualizar o embedding, o que traz grande eficiência
• Em aplicações reais na documentação do [Sphinx], foi confirmado um desempenho positivo

Comunidade e possibilidades de dados abertos

• No futuro, sites de documentação poderão fornecer dados de embeddings por meio de REST APIs ou well-known URIs
• Isso permitirá que a comunidade desenvolva diversas ferramentas e serviços de aplicação

Considerações finais

• É interessante ter a oportunidade de relacionar o conceito de espaços com centenas de dimensões ao trabalho do dia a dia
• Com a adoção de embeddings, é possível esperar avanços transformadores na manutenção de documentação e na expansão de funcionalidades