Ollama está disponível em preview no Windows

Uso de preview da Ollama no Windows

• A Ollama agora está disponível em versão de prévia no Windows.
• A versão do Ollama para Windows inclui aceleração por GPU, acesso à biblioteca completa de modelos e API da Ollama compatível com OpenAI.

Aceleração de hardware

• O Ollama acelera a execução do modelo usando GPU NVIDIA e instruções modernas de CPU como AVX e AVX2.
• Pode ser usado sem configuração ou virtualização.

Acesso à biblioteca completa de modelos

• É possível acessar a biblioteca completa de modelos da Ollama compatível com Windows.
• Ao executar modelos de visão, como o LLaVA 1.6, é possível arrastar e soltar imagens para adicioná-las à mensagem.

API da Ollama sempre ativa

• A API da Ollama é executada em segundo plano automaticamente e pode ser acessada por ferramentas e aplicativos sem configuração adicional.
• Por exemplo, é mostrado como chamar a API da Ollama usando o PowerShell.

Como começar

• Para iniciar o Ollama on Windows Preview, baixe e instale o Ollama.
• Após a instalação, abra o terminal e use o comando ollama run llama2 para executar um modelo.
• A Ollama notifica sobre uma nova liberação a cada atualização.
• O feedback é solicitado e, em caso de problemas, é recomendado abrir uma issue ou ingressar no servidor do Discord para relatar.

Opinião do GN+

• Integração no Windows: A integração da Ollama com o Windows torna mais fácil para desenvolvedores utilizarem grandes modelos de linguagem em ambiente Windows, aumentando a acessibilidade ao desenvolvimento de aprendizado de máquina e IA.
• Aceleração de hardware: A aceleração com GPU e instruções modernas de CPU aumenta significativamente a velocidade de execução do modelo e permite maximizar desempenho sem configuração complexa.
• Acesso à API: A API sempre ativa e a compatibilidade com OpenAI facilita a integração com ferramentas existentes, permitindo que desenvolvedores trabalhem com mais eficiência.

[GN⁺]

Comentários do Hacker News

• Tenho rodado uma coleção no frontend do Open-WebUI no meu desktop com Mistral e mais alguns modelos ajustados. Eles têm bom desempenho para chat e tarefas de extração de informações. O app Open-WebUI é muito parecido com o ChatGPT e também permite pesquisar conversas.

  Página do Open-WebUI no GitHub

• Arrependo-me por não ter mencionado suporte a GPU AMD e por ter escolhido a AMD desta vez.
• Para quem busca uma UI de chat baseada no Ollama que suporte modelos online e locais, estou desenvolvendo um app offline com foco em privacidade e adicionei suporte ao Windows naquela manhã.

  msty.app

• Fiquei curioso sobre por que tantos pontos de entrada de IA “local” rodam como servidor. Fico pensando se os desenvolvedores se esqueceram de que é possível executar código dentro do processo de UI. O mesmo acontece no launcher do Stable Diffusion e no host de LLM. Não quero manter serviços em segundo plano em local, a menos que sejam necessários.
• Tenho curiosidade sobre o que as pessoas acham do LM Studio e do Ollama, que não são open source.

  LM Studio

• Fiquei surpreso ao perceber que usuários de Windows não tinham acesso ao Ollama; eu nem sabia. Achei que até usuários de Mac tinham que esperar há alguns anos.
• Já está disponível para Linux e Mac, e agora também houve adição de suporte para Windows.

  Página do GitHub do Ollama

• Nos últimos dias, usei o Ollama em uma máquina Windows para autocomplete local por tab no VS Code e o desempenho foi tão bom quanto no Mac.
• Depois de instalar o modelo llama2 num novo Mac Mini, tive um kernel panic completo. O que aconteceu?
• Pergunta se executar e desenvolver em cima de modelos locais é a forma que as pessoas preferem, e se existe alguma outra ferramenta essencial para aprender.