Jina AI revela o primeiro modelo open source de embedding de texto 8K do mundo

• Modelo de embedding de texto jina-embeddings-v2 com suporte a comprimento de 8192 tokens
• Compete com o text-embedding-ada-002 da OpenAI e, em benchmarks, apresenta desempenho superior em classificação, reclassificação, busca e resumo
• Foi reconstruído do zero e, com contexto de 8k, pode ser usado em diversas áreas: análise de documentos jurídicos, pesquisa médica, análise literária, previsão financeira e IA conversacional
• Dois modelos podem ser baixados no HuggingFace
  • Base Model (0.27G): projetado para tarefas intensivas que exigem alta precisão, como pesquisa acadêmica ou análise de negócios
  • Small Model (0.07G): criado para aplicações leves, como apps móveis ou dispositivos com recursos computacionais limitados

[GN⁺]

Opiniões do Hacker News

• A Jina AI lançou um modelo open source de embeddings de texto com janela de contexto de 8k.
• Alguns usuários questionam o desempenho do modelo, apontando que ele ficou abaixo dos embeddings da OpenAI e de outras 14 contribuições no leaderboard.
• A janela de contexto de 8k é um recurso novo, mas alguns usuários questionam sua utilidade, especialmente considerando o limite de 512 tokens.
• Embora a maioria dos benchmarks lide com documentos pequenos, há dúvidas sobre o desempenho do modelo em documentos maiores.
• Alguns usuários expressam empolgação com o fato de a comunidade open source estar reduzindo a distância em relação à "Open"AI.
• Os vetores de embedding do novo modelo têm metade do tamanho do text-embedding-ada-002 (768 vs 1536), o que pode economizar espaço no banco de dados e tornar as consultas mais rápidas.
• Foram levantadas dúvidas sobre os casos de uso para embeddings de 8k tokens, e alguns usuários sugerem que isso pode não ser muito útil para RAG.
• Um usuário quantizou o modelo para usar com onnx e reduziu em 4 vezes o tamanho dos arquivos no transformers.js.
• Há comparações com o modelo da OpenAI, que oferece suporte multilíngue e calcula as mesmas coordenadas para o mesmo significado em diferentes idiomas.
• O novo plugin llm-embed-jina foi disponibilizado para a ferramenta LLM, permitindo acesso ao novo modelo da Jina.
• Alguns usuários ficaram impressionados com o trabalho, mas questionam qual seria a melhor forma de usar embeddings de 8k, sugerindo que isso pode ser útil para correspondência aproximada de similaridade ou detecção de plágio.
• Devido às restrições de exportação de chips e às tensões entre EUA e China, há preocupações sobre as operações da Jina AI, que tem escritórios em Berlim e na China.