LM Studio - ferramenta que facilita a execução de LLMs localmente

• Permite encontrar, baixar e executar LLMs offline localmente
  • Modelos como LLaMa, Falcon, MPT, StarCoder e GPT-Neo-X
• macOS / Windows / Linux (beta)
• É possível usar os modelos por meio da interface de chat integrada ou de um servidor local compatível com OpenAI
• Suporta modelos Llama, MPT e StarCoder baseados em ggml do HuggingFace
  • (ex.: Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT etc.).
• Especificações mínimas e requisitos
  • Apple Silicon Mac (M1/M2/M3) com macOS 13.6 ou superior
  • PC com Windows / Linux (processador com suporte a AVX2)
  • Recomenda-se 16 GB+ de RAM. Em PCs, recomenda-se 6 GB+ de VRAM
  • Suporte a GPUs NVIDIA/AMD

Privacidade e uso do LM Studio

• O LM Studio não coleta nem monitora os dados do usuário, e todos os dados permanecem localmente no dispositivo do usuário
• É gratuito para uso pessoal; para uso profissional, é necessário entrar em contato com a equipe

Opinião do GN⁺

• O LM Studio é uma solução atraente para usuários que valorizam a privacidade, e sua capacidade de executar LLMs offline é o ponto mais importante.
• É interessante o fato de os dados do usuário ficarem armazenados apenas localmente, além do suporte a diversos modelos, e o fato de ser gratuito para usuários individuais é uma vantagem.
• Os requisitos de hardware são relativamente altos, tornando-o mais adequado para usuários com dispositivos mais recentes, e o planejamento para uso profissional é um ponto positivo.

[GN⁺]

Comentários do Hacker News

• Compartilhamento de um link mostrando que é possível fazer o mesmo trabalho com código aberto usando Ollama e uma UI.
• Avaliação positiva do LM Studio e de seus recursos:
  • runtime local de modelos
  • catálogo de modelos
  • UI para conversar facilmente com os modelos
  • API compatível com OpenAI
  • inclui plugins como RAG (usando ChromaDB)
  • está bem posicionado para aproveitar novos recursos do ecossistema de sistemas operacionais
  • infelizmente, o próprio LM Studio não é open source
• Interesse em testar modelos sem censura. Encontrou o modelo "TheBloke/Luna-AI-Llama2-Uncensored-GGML" e baixou apenas o primeiro arquivo para verificar se funcionava. Quer saber se também é preciso baixar os demais arquivos e se o modelo realmente não é censurado em perguntas sensíveis específicas.
• Pergunta de iniciante sobre LLMs: o que acontece se a série "O Senhor dos Anéis" for inserida em um LLM, se existe um LLM básico e "ignorante", e se isso permitiria criar um especialista na Terra-média.
• Requisitos curiosos para uma função avançada de engenharia: exigem entendimento profundo de computadores e software, capacidade de elaborar algoritmos e escrever programas, entre outros, mas é difícil levar essas exigências muito a sério.
• Compartilhamento de um link para uma UI simples criada pessoalmente como tentativa de simplificar configurações complexas.
• Curiosidade sobre o público potencial de softwares de LLM e vontade de ver informações ou especulações sobre segmentação de mercado. Apesar da configuração complexa, vê valor nessa interface para conversar e gerenciar modelos.
• Sugestões de melhoria para a UI do aplicativo:
  • o estado padrão do campo da caixa de chat precisa melhorar
  • não está claro como configurar aceleração CUDA antes de carregar o modelo
  • alguns modelos do HuggingFace não são listados e o motivo não é informado
  • a parte em acordeão da interface só responde à roda do mouse para rolagem
  • a aba de servidor é muito útil para depuração inicial
• Perguntas sobre problemas que podem surgir ao usar vários modelos de LLM (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna), como 50% de alucinação, recomendação de código de API inexistente e reprodução de respostas desatualizadas do StackOverflow, além de pedido para compartilharem casos de uso reais desses modelos.
• Após instalar e executar o LM Studio, houve aumento do uso de CPU para até 30% e mais ruído da ventoinha do notebook. Depois de encerrar o processo do LM Studio e abri-lo novamente, o uso em segundo plano caiu para 5%.