RecurseChat - app local de conversa com IA para uso diário

• Local em primeiro lugar, funciona offline: converse com a IA offline sem configurações complexas.
• Busca especializada: oferece busca rápida em milhares de mensagens.
• Importação do histórico do ChatGPT: permite continuar conversas com uma IA local.
• Conversas com múltiplos modelos: converse com vários modelos em uma única sessão de chat.
• Entrada multimodal: converse com imagens usando o modelo LLaVA.
• Segurança e privacidade: protegido pelo sandbox de apps do macOS, permitindo conversas privadas.
• Aparência e personagens de IA personalizáveis: use seu próprio modelo GGUF para personalizar a personalidade e a aparência da IA.

Recursos simples, mas poderosos

• Converse com a IA offline: fale com LLMs locais sem precisar de conhecimento técnico.
• Chat multimodal com imagens: suporte a conversas em vários formatos, incluindo imagens.
• Importe e continue o histórico do ChatGPT: retome conversas anteriores com uma IA local.
• Busca especializada rápida: encontre facilmente o conteúdo desejado por meio de busca textual.
• Personalização avançada: altere livremente a personalidade e a aparência da IA.

Opinião do GN⁺

• O RecurseChat é um app que prioriza a privacidade do usuário e permite conversar com IA mesmo offline. Isso pode ser muito útil para quem tem conexão instável com a internet ou valoriza fortemente a privacidade.
• A segurança via sandbox de apps do macOS pode transmitir confiança extra ao usuário, mas não está claro se esse recurso oferece o mesmo nível em outros sistemas operacionais.
• O recurso de conversa multimodal com imagens pode proporcionar uma experiência mais rica ao usuário, embora venha acompanhado de desafios técnicos relacionados à precisão do reconhecimento de imagens.
• O fato de o usuário poder personalizar a personalidade e a aparência da IA com seu próprio modelo GGUF pode ser uma grande vantagem para oferecer uma experiência personalizada. No entanto, pode ser necessário um certo nível de entendimento técnico para aproveitar adequadamente esses recursos avançados.
• É importante considerar o nível técnico do usuário e suas exigências de privacidade, além de garantir compatibilidade e acessibilidade em diferentes ambientes de uso.

[GN⁺]

Comentários do Hacker News

• Isso foi possível graças ao trabalho incrível de @ggerganov no llama.cpp. Se houver algum recurso que você gostaria de ver em um app ideal de IA local, adoraria ouvir.

• Full Text Search. Busca extremamente rápida em milhares de mensagens.

  • O processamento de linguagem natural evoluiu completamente e reinventou o Ctrl+F.
  • Sobre a capacidade de buscar rapidamente em milhares de mensagens, houve a opinião de que se trata de uma releitura moderna da busca dos anos 90.
    • Uma explicação sobre a busca em texto completo, avaliando que a tecnologia de processamento de linguagem natural evoluiu e melhorou de forma inovadora a funcionalidade tradicional de busca de texto.

• Eu pagaria com prazer por um recurso que encontrasse respostas em documentos locais, favoritos, histórico do navegador etc.

• Excelente! Algumas observações:

  • O motivo de a UI do ChatGPT ser útil é que ela permite editar qualquer parte da conversa, regenerar a partir daquele ponto e apagar o restante da conversa depois disso.
  • O botão de feedback não faz nada além de mudar o foco para o Chrome.
  • Disseram que o modelo LLaVA não consegue gerar imagens porque é um modelo de IA baseado em texto.

• É legal, mas não vejo motivo para usar isso em vez de ChatbotUI+Ollama.

  • Fora a vantagem de ser um app nativo para macOS e a importação e busca rápidas, é difícil encontrar um diferencial.
  • O ChatbotUI tem vantagens como ser multiplataforma, personalizável, privado e depurável.

• Algumas perguntas:

  • O que vocês estão usando para geração de imagens? Também funciona localmente (por exemplo, stable diffusion)? Há geração de prompt integrada?
  • Vocês disseram que é possível importar o histórico do ChatGPT, mas também dá para importar outros documentos?
  • Há alguns recursos no estilo de "agentes"? Dá para pesquisar na web? Usar outras APIs? Gerar prompts por conta própria?
  • Existe um framework de plugins? Vocês disseram que é "personalizável", mas isso pode significar praticamente qualquer coisa.
  • Qual é a licença? Como vocês garantem que o uso do usuário seja realmente pessoal? Todos nós sabemos que muitos apps "locais" enviam grandes volumes de dados para fora.

• Algumas sugestões

  • Adicionem a fonte do sistema (San Francisco) como opção de UI. SF Mono também seria legal.
  • É preciso mais ajuda para iniciantes no uso de modelos. Seria bom ter uma tela introdutória explicando como começar.
  • Seria bom ter Command-comma para abrir as configurações, como na maioria dos apps para Mac.
  • Seria bom que clicar em links da web abrisse o Safari (ou o navegador preferido).

• Acho que também seria bom adicionar uma opção para usar a API da OpenAI na mesma interface.

  • Atualmente estou usando jan.ai.

• Vocês pretendem adicionar modelos online ao app? Os modelos locais ainda não estão em um nível comparável aos modelos online.

  • Seria bom poder alternar entre GPT/Claude/modelos locais em uma interface de chat consistente.

• Em vez de dizer "converse com IA local", venderia mais se vocês explicassem o que podemos alcançar ao conversar com uma IA local.

  • Não é a conversa em si que precisamos, e sim realizar tarefas específicas. Que tarefas isso pode fazer? (Não respondam para mim; coloquem isso na landing page e na listagem da app store.)