Anything-LLM - assistente de desktop de IA open source tudo-em-um

• Aplicação de IA full-stack que permite criar um ChatGPT privado usando LLMs comerciais ou open source e soluções de banco de dados vetorial
  • Pode ser hospedado localmente ou remotamente
  • Converte todos os documentos e recursos fornecidos por você em contexto consultável
• É possível escolher o LLM ou banco de dados vetorial a ser usado, com suporte a gerenciamento multiusuário e permissões
  • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
• Suporte multimodal (tanto para LLMs comerciais quanto open source)
• Fornece um widget de chat personalizado que pode ser incorporado ao seu site (versão Docker)
• Os documentos são divididos em entidades chamadas Workspaces e funcionam de forma conteinerizada como uma única thread
  • É possível compartilhar, mas como não conversam entre si, é possível manter o contexto entre os diferentes workspaces

Separação dos componentes dentro do monorepo

• frontend: frontend construído com viteJS + React
• server: servidor NodeJS express para gerenciamento do banco de dados vetorial e processamento das interações com LLM
• collector: servidor NodeJS express para processar e fazer parsing de documentos
• docker: comandos Docker e informações sobre o processo de build
• embed: submódulo para criar e gerenciar widgets de incorporação na web
• browser-extension: submódulo da extensão do navegador Chrome

[xguru]

Comentários no Hacker News

• Estou tentando implantar uma instância personalizada do AnythingLLM em um ambiente corporativo. TimC e a equipe de desenvolvimento são excelentes e respondem rápido. Estou aguardando a integração com o EntraID, e isso deve atender à maioria dos casos de uso básicos. Agradeço ao TimC e à equipe
• No começo achei que fosse um wrapper para Ollama/WebGenUI, mas na verdade oferece muito mais funcionalidades. Suporta não apenas LLMs, mas também modelos de embeddings, bancos de dados vetoriais e TTS/STT. Inclui tudo o que é necessário para montar um chatbot de voz completo
• Muito bom. Acho engraçado o termo "Language Learning Model". Brinco que o autor deve ter tocado o projeto sem saber o que LLM significa
• Baixei e testei, e até agora está muito bom. Usei com GPT-4o para ler PDFs regulatórios. Feedback inicial:
  • As citações são um pouco incertas. As respostas em geral estão corretas, mas o conteúdo da janela de citações é um pouco confuso
  • Gostaria que adicionassem uma função de busca de texto dentro do histórico de chats. Por exemplo, se eu pesquisar por girafa durante uma conversa, seria bom poder ir para esse registro de chat
• Como alguém que não sabe o que são embeddings ou vetores, esta é a única ferramenta de IA offline que consigo instalar e usar em um PC de escritório padrão
• No futuro, os LLMs serão gratuitos e de código aberto, como frameworks web. Haverá opções pagas também, mas para a maioria das tarefas as opções gratuitas serão suficientes
• Configurei o AnythingLLM em nível corporativo e fiquei muito impressionado com a maioria dos recursos. Gostaria que houvesse uma opção para incluir CSS customizado de forma adequada. A interface padrão parece um pouco datada. Continuem com o ótimo trabalho
• Encontrei um erro durante a instalação no Linux, mas resolvi com o seguinte comando:

  sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  

  Fora isso, funciona muito bem
• O AnythingLLM torna muito fácil usar LLMs localmente e via API. Há várias opções de embedder e vector store. O empacotamento desktop em instalação única é muito bem-feito. Estou ansioso pelos novos recursos que virão