Show HN: Khoj - Converse offline como um segundo cérebro usando o Llama 2

• Khoj: assistente pessoal de IA para pesquisar e conversar com notas, documentos e imagens.
• Aplicativo com abordagem offline-first para uso sem conexão com a internet.
• Khoj: ferramenta open source acessível a partir do Emacs, Obsidian ou navegador web.
• Suporta vários tipos de arquivo: jpeg, markdown, notion, org-mode, arquivos pdf e repositórios github.
• Recupere documentos relevantes e obtenha respostas usando linguagem natural com o Khoj.
• Configurável para uso offline, uma ferramenta conveniente sem internet.

[GN⁺]

Comentários do Hacker News

• A landing page do site não menciona casos de uso offline do Llama, apenas o uso online via OpenAI.
• O tamanho do modelo e o fine-tuning do Llama 2 consomem muita RAM em dispositivos de consumo.
• Feedback sobre a landing page: use um contêiner com altura fixa para os prompts de exemplo para evitar problemas de rolagem.
• O Llama 2 causou problemas de desempenho em um Macbook Air M2 pequeno.
• Este projeto tem potencial para resumir o histórico da web e evoluir para uma IA pessoal.
• Seria bom se o Llama pudesse indexar PDFs e fazer OCR para indexação de documentos.
• Existe uma forma suportada de alterar o modelo usado para inferência local no Llama.
• O Llama 2 tem casos de uso úteis o suficiente para não ser menos rentável que o ChatGPT.
• A mensagem do Khoj melhorou em relação ao que foi mostrado anteriormente no Hacker News.
• Para quem usa Obsidian e está experimentando com IA de chat, o Llama é útil.
• Foram solicitados o recurso de busca incremental e detalhes de implementação.
• Uma interface de conectores de dados facilmente extensível para conectar fontes de dados personalizadas seria útil.