- Ferramenta com interface gráfica projetada para executar LLMs com facilidade em hardware pessoal
- Automatiza processos complexos como gerenciamento de backend, download de modelos e configuração de aceleração por hardware
- Funciona com base no KoboldCpp, um fork do llama.cpp, e oferece suporte tanto à geração de texto quanto de imagens
- Suporte à execução nativa em Windows, macOS e Linux (especialmente com Wayland)
- Também funciona em sistemas apenas com CPU e oferece suporte à aceleração por GPU baseada em CUDA, ROCm, Vulkan, CLBlast e Metal
- Função de geração de imagens integrada: oferece presets dos principais fluxos de trabalho, como Flux, Chroma, Qwen Image e Z-Image
- Com a busca integrada no HuggingFace, é possível explorar modelos no app, verificar model cards e baixar arquivos GGUF diretamente
- Com a opção
--cli, é possível executar via terminal, usando o mesmo backend sem GUI e minimizando o uso de recursos
- Licença AGPL-3.0
1 comentários
Quais são as vantagens em relação ao ollama?