RLama - DocumentAI de código aberto com Ollama

• Ferramenta de perguntas e respostas baseada em IA para documentos, usada com modelos locais do Ollama
• Permite criar, gerenciar e interagir com sistemas RAG (Retrieval-Augmented Generation) de acordo com os requisitos de documentação
• Disponível para macOS, Linux e Windows
• Indexação de pastas de documentos: permite indexar pastas de documentos para buscas e consultas inteligentes, com suporte a vários formatos de documento, como texto, código, PDF e DOCX
• Processamento local: todos os dados são processados localmente com modelos Ollama, sem vazamento de dados para fora
• Sessões RAG interativas: permite criar sessões interativas para consultar a base de conhecimento de documentos
• Facilidade de gerenciamento: fornece comandos simples para criar, listar e excluir sistemas RAG
• Amigável para desenvolvedores: projetado em Go para desenvolvedores e usuários técnicos

[GN⁺]

Comentários do Hacker News

• Este sistema envia documentos inteiros ao Ollama para solicitações de embedding, sem dividi-los em chunks. Portanto, ele só é útil quando os documentos são pequenos

  • O modelo de embedding bge-m3 tem comprimento de sequência de 8192 tokens. O rlama tenta gerar embeddings de livros inteiros, mas o Ollama só consegue incluir as primeiras páginas na solicitação de embedding
  • Na busca, ele recupera o documento inteiro em vez de trechos relevantes e depois o corta para até 1000 caracteres. Como resultado, embora a palavra "Buddha" apareça 44.121 vezes no documento, o modelo responde que "não há menção direta a Buddha"
  • Uma solução melhor seria dividir os documentos em chunks compatíveis com o contexto do modelo de embedding e recuperar esses chunks junto com seus metadados

• Recomendo mostrar os resultados da busca ao usuário. Só um mecanismo de busca vetorial já é bastante útil

  • Altere o prompt para fornecer referências (por exemplo, com base nos metadados do chunk, como números de página)

• Elogios ao projeto, junto com algumas observações rápidas

  • Principais preocupações com um app que usa o sistema de arquivos
    • Quem pode ler, se o app compartilha os dados
    • É necessário um bloqueio rígido para impedir acesso à internet. O rlama ainda funciona corretamente assim?
    • O app pode modificar/excluir arquivos?
    • Deve permitir apenas permissão de leitura, não acesso ao sistema de arquivos inteiro

• Nota sobre o código: é surpreendente que .ts (typescript) não esteja na lista

• O site é muito limpo. Fico curioso se foi codificado do zero ou baseado em um template

• É muito fácil criar seu próprio RAG. Há um tutorial de início rápido no Ollama. Dá para ajustar o processo às suas necessidades

• Sou cético quanto à utilidade dessas ferramentas. Por causa do problema de alucinação, fico me perguntando o quanto elas são confiáveis e quão bem citam as fontes

  • O mais importante é obter os dados com precisão. Às vezes uso ferramentas de IA para programação, mas para outros usos não consigo confiar nos resultados

• Não há informações sobre a arquitetura/stack técnica deste projeto. Também não há no readme do github nem no site

  • Gosto do fato de ter sido escrito em Go e de ser pequeno o suficiente para eu analisar num fim de semana. Mas já perdi tempo com ferramentas do ecossistema de llm, então hesito em explorar o código sem ver informações básicas antes
  • Se fornecessem uma visão geral de alto nível da arquitetura do projeto, mais pessoas adotariam a ferramenta

• Como historiador amador, escaneio documentos em arquivos e os salvo como arquivos JPG. Fico pensando qual é a melhor forma de dar sentido a esse conjunto de conhecimento

  • No momento estou montando algo por conta própria com o Gemini, mas não tenho certeza se há uma forma de resolver isso sem construir um sistema RAG do zero

• Fico curioso se isso pode funcionar junto com o llama.cpp, que é o motor do Ollama

  • Normalmente compilo o llama.cpp a partir do código-fonte e baixo modelos quantizados do Huggingface. Nunca usei Ollama

• Seria bom ter uma interface de API para poder integrar com outros sistemas

• Projeto muito legal. Fico curioso sobre sob qual licença ele foi lançado. Isso não está documentado

• Fico curioso sobre o desempenho do RAG. Apenas jogar uma base de dados vetorial ali não o torna útil