AutoRAG: ferramenta automatizada que encontra automaticamente o pipeline de RAG ideal

• O AutoRAG otimiza RAG automaticamente, assim como o AutoML otimiza ML automaticamente
• O RAG (Retrieval-Augmented Generation), que permite que LLMs respondam até mesmo sobre conhecimentos que não conhecem por meio de busca em milhares de documentos (PDF, Word etc.), vem recebendo muita atenção.
• Na prática, é difícil montar um pipeline de RAG com alto desempenho usando documentos reais.
• No RAG, a combinação adequada varia conforme os dados e o objetivo, e para encontrar a melhor combinação é preciso repetir muitos experimentos e avaliações.
• As combinações de pipeline de RAG são tão diversas que, apenas com os 12 módulos atualmente suportados pelo AutoRAG, já é possível obter 960 combinações.
  (Embeddings e modelos de linguagem estão excluídos da combinação)
• O AutoRAG otimiza RAG automaticamente, assim como o AutoML otimiza ML automaticamente.
• Pode ser usado apenas com uma simples edição de um arquivo YAML.
• O melhor RAG encontrado pode ser executado e utilizado imediatamente em um servidor fastAPI.

---

Ao estudar RAG, criar vários pipelines e testar seu desempenho, a maior dificuldade que senti foi “otimizar para cada conjunto de dados”.
Embora a academia proponha diariamente novos módulos e pipelines de RAG, muitas vezes, ao trazê-los com esforço e aplicá-los a dados reais, o desempenho não melhorava em nada. Além disso, o processo de construir um conjunto de dados de avaliação a partir de documentos como PDFs, experimentar com vários módulos e avaliar os resultados era incômodo e trabalhoso.

Como imaginamos que a maioria das equipes de desenvolvimento de RAG passa pela mesma dificuldade, nossa equipe criou o AutoRAG como open source. Se você consultar o GitHub e nossa documentação e seguir o passo a passo, poderá utilizá-lo facilmente.

Tanto quem já vinha desenvolvendo RAG com dedicação quanto quem está começando agora em RAG poderá usá-lo com satisfação!