Shimmy - servidor leve da API OpenAI com foco em privacidade pessoal que pode substituir o Ollama

• Ferramenta projetada para executar LLMs totalmente offline em ambiente local, oferecida como um binário único de 4,8 MB, 142 vezes menor que o Ollama
• 100% compatível com a API OpenAI, permitindo conectar diretamente ferramentas de desenvolvimento já existentes como Python, Node.js, VSCode Copilot, Cursor e Continue.dev
• Estrutura Zero-Config que funciona imediatamente após a instalação
  • Descoberta automática de modelos no Hugging Face, Ollama, diretórios locais etc.
  • Suporte a atribuição automática de porta e detecção de adaptadores LoRA
• Inferência híbrida CPU/GPU baseada em MOE (Mixture of Experts), permitindo executar modelos grandes de 70B ou mais em um PC comum
  • Offloading para CPU e distribuição inteligente de camadas garantem execução estável mesmo em ambientes com pouca VRAM
  • Controle detalhado disponível com as opções --cpu-moe e --n-cpu-moe
• Suporte a vários backends para aceleração por GPU, como CUDA, Vulkan, OpenCL e MLX (Apple Silicon)
  • Detecta automaticamente em tempo de execução e, se não houver GPU, muda automaticamente para CPU
• Arquitetura assíncrona baseada em Rust + Tokio para alto desempenho e estabilidade de memória
  • Usa o backend llama.cpp, com compatibilidade com modelos GGUF
  • Inclui cache LRU, balanceamento de carga automático e monitoramento integrado com Prometheus, entre outros
• Projeto com foco em segurança e privacidade
  • Os dados e o código não saem do ambiente local
  • Não exige chave de API, plano pago nem cobrança por tokens
• Disponibilizado sob licença MIT e gratuito para sempre: “FREE now, FREE forever”

[nextstep]

Testei coreano, inglês, chinês e japonês, mas por enquanto há um problema no processamento do japonês.

[woung717]

Se no fim das contas o backend é llama.cpp, dá mesmo para chamar isso de livre de dependências...

[tsboard]

Uau, isso é realmente incrível, de arrepiar. Vou testar agora mesmo.

[kimjoin2]

uau

[mssmss]

Na lista de colaboradores, Claude e Copilot aparecem juntos.