Projeto de código leve e eficiente para avaliação de modelos RAG

Retriever Simple Benchmark é um projeto de benchmark leve e eficiente criado com o objetivo de avaliar rerankers necessários para RAG.
Eu o criei porque precisava disso e estou desenvolvendo-o como open source.

---

Por quê?

Houve muito feedback de que as ferramentas de benchmark existentes (por exemplo, MTEB) são difíceis de usar porque a instalação de dependências e a execução são trabalhosas.
O objetivo é que ele possa ser executado com muita facilidade, com o mínimo de dependências, de forma leve, e que mostre resultados imediatamente.

---

Introdução ao repositório

• Atualmente suporta cross-encoder com base em coreano, e no futuro também pretende adicionar modelos bi-encoder.
• Para tornar o projeto Python mais fácil de manter, ele foi reescrito com astral-uv.

---

Como usar 💻

1️⃣ Configuração do ambiente

make init  

2️⃣ Executar (atualmente só há suporte a GPU única)

make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG  

---

Planos futuros 📈

• Modelos com suporte adicional

  • Modelos bi-encoder baseados em HuggingFace e FlagEmbedding

• Datasets adicionais

  • Atualmente há suporte a AutoRAG, com KURE previsto para ser adicionado

---

➡️ Confira o projeto no GitHub
➡️ Discord do Instruct Korea