Ollama lança novo app para Mac e Windows

• Ollama lançou um novo aplicativo para desktop para macOS e Windows
• Agora ficou mais fácil baixar modelos e conversar com eles em um ambiente GUI
• O recurso de arrastar e soltar arquivos facilita a interação com textos e documentos PDF
• Ao lidar com documentos grandes, é possível aumentar a configuração de context length para analisar materiais mais longos
• Com base no novo mecanismo multimodal do Ollama, agora também é possível enviar imagens para modelos com suporte a imagem (por exemplo, o modelo Gemma 3 do Google DeepMind)
• Também inclui um recurso de processamento de documentos compatível com vários formatos de arquivo, como arquivos de código
• O novo aplicativo do Ollama pode ser baixado para macOS e Windows no site oficial
• Quem precisar apenas da versão CLI pode baixá-la separadamente no GitHub Releases

[GN⁺]

Comentários no Hacker News

• Parece que recentemente a Ollama vem mudando o foco do site, saindo de desenvolvedores e indo mais em direção ao usuário comum; basta ver a página inicial da Ollama Antes era centrada na versão CLI para desenvolvedores, mas agora ela mal é mencionada No rodapé do blog, só há uma nota curta dizendo que “a versão CLI pode ser baixada na página de releases do GitHub da Ollama” Não estou tentando criticar, só observando porque a mudança chamou atenção No passado usei vários apps de LLM local, e os dois de que mais gostei foram LM Studio e Msty Com certeza pretendo testar esse app também Uma função de que sinto falta é algo como o app desktop do ChatGPT, em que um atalho global (Alt+Space) abre direto uma nova conversa e permite fazer perguntas rapidamente em uma UI compacta Seria ótimo se os apps de LLM local também adotassem essa ideia

  • Sou mantenedor da Ollama Não acho nem um pouco que tenhamos deixado desenvolvedores de lado Todos nós somos desenvolvedores, e criamos a Ollama para nosso próprio uso Cada pessoa vinha criando e usando protótipos diferentes, e todo mundo acabou gostando mais da Ollama, então estamos concentrando os esforços para melhorá-la A Ollama é voltada para desenvolvedores do começo ao fim, e continuamos focados nisso

  • Fiquei curioso se você já usou o pygpt.net A interface é um pouco exagerada e o nome não é dos melhores, mas foi o app que mais me satisfez entre os que já usei

  • Essa mudança na verdade também é positiva para desenvolvedores Se mais usuários instalarem a Ollama, depois será possível distribuir apps desktop de IA baseados em Ollama sem precisar empacotar um modelo separado Como isso não traz custo adicional, também dá para oferecer assinaturas gratuitas ou baratas aos usuários Os modelos mais recentes da linha Qwen30B também são extremamente fortes Se houvesse um template de instalação que verificasse as especificações do PC do usuário (RAM, desempenho de CPU/GPU etc.) e, se a Ollama não estivesse instalada, cuidasse da instalação/download por baixo dos panos, seria muito mais conveniente Também seria bom ter uma API que pedisse permissão e instalasse o modelo quando ele ainda não estivesse presente

  • O HugstonOne já tem esse recurso, inclusive a abertura em nova aba e afins Além disso, acho curioso como a maioria dos desenvolvedores faz divulgação quase como spam sem muito critério A Ollama é uma pioneira na área de IA e um app excelente, então deixo meu agradecimento sincero

  • Eu conhecia o Msty e cheguei a usá-lo rapidamente, mas revendo agora ele parece bem rico em recursos Não conhecia o LM Studio, mas ele permite uso comercial gratuito (o que não é o caso do Msty) Se a ideia for usar uma ferramenta baseada em interface de chat, tenho curiosidade sobre os prós e contras dos dois apps

• Não entendo muito bem essa mudança da Ollama desta vez Um app desktop com frontend vai exatamente na direção oposta do motivo pelo qual eu usava Ollama Eu a usava originalmente como backend de LLM local, e os usuários antigos já encontraram, criaram ou personalizaram seus próprios frontends e estão acostumados com isso Na verdade, houve casos recentes em que modelos locais de ponta demoraram para aparecer, e suspeito se isso não aconteceu por causa desse foco no frontend Agora estou pensando em procurar alternativas à Ollama que já tragam sua própria UI desde o início ou que permaneçam estritamente como backend CLI Se houver algo melhor, talvez eu troque; eu deveria ter feito isso antes Espero que isso não seja o primeiro passo para a Ollama abandonar o foco em CLI e virar uma interface genérica de LLM baseada em assinatura

  • Já existem várias GUIs para Ollama Pelo visto, esse app é só uma versão da Ollama com uma GUI embutida por padrão

• Achei surpreendente que, ao testar a UI da Ollama, não exista opção para se conectar a uma instância remota de Ollama O PC mais poderoso nem sempre é aquele em que estou rodando a GUI

  • Concordo muito com isso Gosto do ambiente desktop de Windows/Mac, mas não gosto tanto dos sistemas em si; já Linux/BSD têm sistemas ótimos, mas o ambiente desktop me agrada menos, então sempre deixo minha workstation mais potente em um Linux headless e acesso por SSH a partir de Windows/Mac A maioria dos desenvolvedores não entende muito bem esse cenário É frustrante demais quando, a cada comando executado no terminal, abre uma aba do navegador, ou quando nem sequer imprimem uma URL no terminal

  • Dá para contornar isso usando encaminhamento de porta por SSH (ssh -L 11434:localhost:11434 user@remote) para conectar a uma instância remota da Ollama Ainda assim, seria muito melhor se houvesse suporte nativo

  • O app já tem uma função para expor a Ollama na rede, então talvez isso seja suportado em breve

• Testei a UI da Ollama no Windows (antes eu usava a CLI)

• Gostei da simplicidade. É perfeita para configurar facilmente um LLM local para pessoas não técnicas, amigos e familiares
• O suporte a multimodal e Markdown funciona bem
• No menu de seleção de modelo aparecem tanto meus modelos locais quanto os modelos populares do registro Para usos simples, isso parece mais conveniente que o Open WebUI Coisas como ajuste de prompt e configurações avançadas provavelmente devem chegar em breve, mas por enquanto a simplicidade em si já é uma vantagem

• Não basta lidar só com texto Além de inglês, também são muito importantes recursos como transcrição de áudio com mais de 30 segundos, geração de voz e geração de imagens Processamento de texto agora já é o básico

• Fico me perguntando por que não há suporte para Linux A UI parece ser baseada em Chrome, provavelmente electron, então portar para Linux também deveria ser fácil Também tenho curiosidade sobre o link do código-fonte

  • Apesar de o Electron se vender como multiplataforma, na prática não existe isso de “distribuir para Linux com um clique” Sempre aparecem problemas grandes e pequenos, como versão do glibc ou suporte a GPU

  • O texto oficial da Ollama diz: “Baixe o novo app para Mac e Windows / a versão CLI está disponível separadamente no GitHub” Pelo que vi, isso não passa uma sensação de open source Além disso, parece usar webview do sistema em vez de Chrome, então aparenta ser um app em tauri

  • Dizem que é baseado em Electron, então acho estranho divulgarem isso como nativo

  • Desenvolvedores Linux e usuários avançados já conseguem usar a Ollama só pela CLI Esses apps de Mac e Windows parecem voltados ao usuário comum

• A Ollama parece querer virar a interface padrão para empresas distribuírem modelos abertos O foco em “local” deve ser secundário, e provavelmente não é o objetivo de longo prazo Tenho certeza de que em breve vão usar esse app como ponte para anunciar uma estratégia de “API em nuvem própria + modelos abertos”

  • Discordo fortemente da ideia de que “local” seja secundário Para empresas que não podem usar serviços em nuvem (por exemplo, contratadas de defesa), o local é o padrão Esse é o verdadeiro motivo para usar modelos abertos, mesmo que ainda não estejam no mesmo nível de desempenho

  • Nós também usamos Ollama porque os dados jamais podem sair da rede interna da empresa Se houver qualquer mistura com nuvem, por menor que seja, o jurídico entra em pânico Por isso rodamos Ollama diretamente em laptops (a série M é muito poderosa) e também em servidores da intranet interna Como o LM Studio recentemente mudou para permitir uso comercial sem aquele esquema de preço “entre em contato”, também estamos pensando em avaliá-lo

• Se você é um usuário avançado ou sabe programar, recomendo criar sua própria UI de chat personalizada do jeito que quiser Se você pegar qualquer endpoint compatível com OpenAI e um framework de componentes de frontend de chat, o resto fica quase todo fácil Eu mesmo montei uma em uma semana com ajuda do Gemini e uso todos os dias Não está pronta para produção, mas posso mudá-la do jeito que quero e adicionar recursos rapidamente por conta própria

  • Esse realmente é o melhor comentário, quase no nível de “faça seu próprio Linux” Não é um caminho fácil para todo mundo

  • Eu também, ao explorar IA e LLMs, criei meu próprio chatbot em Python e depois aproveitei [Vercel AI SDK+endpoint de API compatível com OpenAI] No fim acabei até transformando isso em produto VT.ai - Python, VT Chat

  • Eu sigo a mesma abordagem O que realmente importa é qual modelo você usa; o resto é quase detalhe Dá uma olhada também no script open source que eu uso(link do Show HN) Foi fácil de fazer com ajuda do ChatGPT e afins, e eu uso todos os dias Em breve também vou integrar busca no DDG e no GitHub

  • Ou você pode simplesmente usar o Open WebUI como base e personalizar à vontade do jeito que preferir

• Estou na busca pela minha interface de chat LLM perfeita Os requisitos obrigatórios são suportar ao mesmo tempo modelos locais/remotos/em nuvem (compatíveis com API OpenAI), além de facilitar troca de modelo e consultas múltiplas Minhas impressões atuais:

• Msty: é o meu favorito, permite consultar vários modelos ao mesmo tempo e tem design bem agradável; os pontos fracos são não ser open source e travar às vezes no Linux

• Jan.ai: não permite consultas simultâneas a vários modelos

• LM Studio: não é open source e não suporta modelos remotos/em nuvem (não tenho certeza se existe plugin para isso)

• GPT4All: dá erro de JSON ao usar modelos do openrouter, e é incômodo ter de trocar manualmente o modelo a cada conversa Ainda não testei Librechat, Open WebUI, AnythingLLM nem koboldcpp Se alguém tiver outras recomendações, quero ouvir

  • Gosto da webUI, mas configurar cada modelo por arquivo de texto no navegador é complicado, e a documentação usa termos difíceis O Librechat faz logout depois de pouco tempo, então na prática fica inutilizável Também ouvi dizer que dá para manter login com https, mas como uso Tailscale, quando rodo vários serviços em um mesmo host isso complica bastante

  • Também existe o app que eu mesmo fiz, dinoki.ai Ele roda localmente, prioriza privacidade e foi implementado de forma nativa: Swift no macOS e WPF no Windows

  • O OpenWebUI tem a qualidade que eu quero para conversar facilmente com vários modelos diferentes

  • Estou usando o AnythingLLM há vários meses e estou realmente satisfeito Dá para salvar conjuntos de modelo/prompt em vários “workspaces”, e ele suporta tanto Ollama quanto outros LLMs Eu o rodo em Docker num Raspberry Pi e acesso de qualquer lugar com Tailscale A interface no celular também é bonita, e com a extensão Claude do Raycast dá para resolver praticamente qualquer curiosidade

  • Recomendo tentar fazer você mesmo Além de ser divertido, dá para aprender as tendências mais recentes Criei minha interface em 2023, fui adicionando recursos aos poucos e recentemente também conectei modelos locais via MLX É mais fácil do que parece criar uma interface, e desenvolvedores aprendem muita coisa ao fazer isso por conta própria

• Testei Ollama uma vez no passado e apaguei logo em seguida Era incômodo se não fosse fácil instalar modelos que a Ollama suportasse oficialmente Depois disso, passei a achar o LM Studio o melhor

  • OLLAMA é bom, mas junto com o Lmstudio o HugstonOne oferece uma experiência superior na prática