Sidekick - aplicativo de chatbot LLM local-first e de código aberto para Mac

• Fornece informações com base nos arquivos, pastas e sites do usuário, e funciona totalmente offline
• Inclui um mecanismo de inferência de modelos integrado e, se necessário, também permite usar modelos externos conectando uma chave de API compatível com OpenAI
• Projetado para que o LLM possa fornecer respostas mais precisas com base em informações de contexto
• Baseado em llama.cpp

Principais recursos

• Chatbot local-first

  • Todas as conversas acontecem offline, sem preocupação com vazamento de dados
  • Busca direta de informações em arquivos, pastas e sites, sem instalação adicional
  • Pode ser usado mesmo sem qualquer conhecimento de prompts GPT ou de configurações
  • Mecanismo de inferência integrado para execução rápida em Apple Silicon

• Gerenciamento de contexto baseado em especialistas (Expert System)

  • É possível criar especialistas (Experts) por tema (Computer Science, History etc.)
  • Cada especialista pode registrar materiais ilimitados (baseado em RAG)
  • Adição fácil de documentos com arrastar e soltar
  • Também pode incluir busca na web quando necessário para refletir informações mais recentes

• Suporte a vários modelos

  • Compatível com diversos modelos locais de inferência, como QwQ-32B da Alibaba e DeepSeek-R1
  • Ao inserir uma chave de API compatível com OpenAI, é possível chamar modelos externos

• Interpretador de código integrado

  • O código escrito pelo modelo pode ser executado diretamente para refletir o resultado
  • Melhora a precisão em perguntas de matemática e lógica

• Canvas

  • Permite gerar e editar visualmente sites, código e texto
  • Após selecionar um texto, é possível pedir ao LLM uma edição seletiva

• Geração de imagens

  • Geração automática de imagens por meio de prompts de texto
  • Reconhecimento automático só pelo prompt, sem precisar trocar de modo
  • Funciona com base em CoreML no macOS 15.2 ou superior

• Assistente de escrita inline

  • Suporte inline em qualquer aplicativo com Command + Control + I
  • É possível inserir uma pergunta de tarefa no Microsoft Word e obter uma resposta automática

• Renderização avançada de Markdown

  • Suporte à renderização de fórmulas LaTeX
  • Visualização de dados: geração automática de gráficos a partir de tabelas (gráfico de barras, gráfico de linhas, gráfico de pizza etc.)
  • Suporte a realce de código, cópia e exportação de código

• Conjunto de ferramentas Toolbox

  • Detector: identifica se o conteúdo foi gerado por IA e fornece orientação de reescrita
  • Diagrammer: cria diagramas de relações complexas a partir de prompts
  • Slide Studio: cria slides com uma única linha de prompt e permite exportar para PDF/PowerPoint

• Otimização de desempenho e inferência

  • Inferência baseada em llama.cpp para velocidade muito alta em Apple Silicon
  • Speculative decoding para ganho adicional de velocidade
  • Oferece maior duração de bateria no MacBook e recursos de distribuição de processamento

Instalação e requisitos

• Mac + Apple Silicon (M1 ou superior)
• RAM de 8 GB ou mais
• Baixe o .dmg na página de Releases e execute-o

Objetivos de desenvolvimento

• Um assistente pessoal de IA local que qualquer pessoa possa usar facilmente
• Um sistema totalmente offline que funciona sem conexão com a internet
• Reconhecimento imediato de pastas, arquivos e sites sem configuração
• Proteção de privacidade, sem rastreamento das conversas
• Um projeto de código aberto com transparência e extensibilidade

[galadbran]

Acho que vou instalar isso para testar.