- Ferramenta open source que oferece execução e treinamento local de diversos modelos de IA, como texto, áudio, embeddings e visão, em uma única interface
- Permite executar localmente modelos GGUF/safetensor em macOS/Windows/Linux e, no treinamento, alcança até 2x mais velocidade com 70% menos uso de VRAM
- Baseado em llama.cpp + Hugging Face, com suporte a inferência multi-GPU e à maioria dos modelos
- O kernel do Unsloth otimiza LoRA, FP8, FFT, PT, oferecendo suporte a mais de 500 modelos de texto, visão, TTS/áudio e embeddings
- Permite fine-tuning dos LLMs mais recentes, como Qwen3.5 e NVIDIA Nemotron 3, com suporte automático a multi-GPU
- Suporta uma ampla variedade de métodos de treinamento, como fine-tuning completo, treinamento em 4bit/16bit/FP8 e reinforcement learning (GRPO)
- Tecnologias de otimização continuam sendo adicionadas, como treinar LLMs MoE 12x mais rápido ou treinar modelos 20B com comprimento de contexto acima de 500K em uma GPU de 80GB
- Todos os modelos, incluindo os ajustados por fine-tuning, podem ser exportados em safetensors/GGUF para uso em llama.cpp, vLLM, Ollama, LM Studio etc.
- Inclui o recurso Data Recipes, que converte automaticamente documentos não estruturados como PDF, CSV e JSON em datasets, além de chamadas de ferramenta com autorrecuperação e execução de código integradas
- Inclui recursos de observabilidade para acompanhar em tempo real a perda de treinamento e o uso de GPU
- No Model Arena, é possível comparar lado a lado a saída de 2 modelos, como o modelo base e o modelo ajustado
- Execução 100% local e offline para garantir privacidade, com suporte a Apple MLX, AMD e Intel previsto para breve
- Fluxo de trabalho :
Iniciar o Studio →
Carregar um modelo a partir de arquivos locais ou integrações compatíveis →
Importar dados de treinamento em PDF, CSV, JSONL etc. ou criar um dataset do zero →
Refinar e expandir o dataset em Data Recipes → iniciar o treinamento com presets recomendados ou configurações personalizadas →
Comparar a saída do modelo treinado com a do modelo base →
Salvar localmente ou exportar para a stack já utilizada
- Licença
- O pacote principal do Unsloth usa a licença Apache 2.0
- Apenas alguns componentes opcionais, como a UI do Unsloth Studio, usam a licença open source AGPL-3.0
2 comentários
https://github.com/unslothai/unsloth/…
Então eles corrigiram imediatamente!
Opiniões no Hacker News
Ainda não consegui configurar o unsloth studio direito no MacBook
Por causa de problemas com ferramentas do Python
Em vez disso, como já estou rodando um servidor llama.cpp em um contêiner Docker, fiz um experimento comparando três codebases
Primeiro código de comparação, Segundo código de comparação
Os resultados foram bem interessantes. Se o unsloth studio funcionar direito, vou tentar de novo na próxima semana
Dá para instalar com os comandos abaixo
Fico curioso sobre o modelo de negócios da unsloth. Eles liberam muita coisa de graça, mas a estrutura de receita não parece clara
Acho que a principal razão de soluções de código fechado serem mais populares é a qualidade das ferramentas. Ainda temos muita coisa para lançar
O recurso de treinamento pareceu interessante, mas fiquei decepcionado ao ver “on NVIDIA”
Queria saber se existe alguma alternativa ou tutorial para fazer SFT (fine-tuning supervisionado) com a stack Metal do macOS
Também uso AMD, então estou na expectativa. ROCm é sofrido, mas gosto da AMD em si
Unsloth é realmente um projeto muito bom
Para quem roda sua própria engine de IA, vale muito a pena testar
Como é licença Apache, estou pensando em usar na empresa também
O LMStudio tem licença proprietária, então foi difícil conseguir aprovação
Espero muito que adicionem suporte a AMD
No momento estou usando configurações complicadas de contorno com GPU AMD
Tentei compilar a partir do código-fonte no macOS e apareceu o seguinte erro de TypeScript
'status' is declared but its value is never readNão é recomendável instalar com pip no macOS, porque há risco de quebrar o sistema
É preciso um pacote Homebrew ou um arquivo zip para instalação manual
Se instalar com
uv tool install unsloth, fica mais fácil de gerenciarVenho principalmente do ecossistema Python, então me faltava experiência com empacotamento. Suporte a Homebrew é o próximo objetivo
Você gerencia dependências com
pyproject.tomle cria um ambiente reproduzível com um único comandoAntes instalei o unsloth com uma versão não lançada baseada em ROCm, e resolvi tudo com uma única linha de
uv syncComentário da issue relacionada
Documentação de instalação do pipx
Quando houver suporte a AMD, volto para conferir
Queria saber se ele usa GPU no Mac
Durante o setup apareceu como somente CPU