Open source - cliente móvel de LLM baseado em Ollama

 (github.com/bipark)
10 pontos por rtlink 2024-11-23 | 2 comentários | Compartilhar no WhatsApp

Este ano passei bastante tempo trabalhando em projetos de LLM-RAG relacionados a vídeo. Nesse processo, acabaram surgindo alguns subprodutos, e organizei parte deles em um app e publiquei como open source.

Para a demo, eu precisava de uma UI de chat que pudesse ser usada ao mesmo tempo no app e na web, então trabalhei com base no flutter_chat_ui do Flutter. Como achei um desperdício deixar isso só como demo, criei um app cliente do Ollama para uso em dispositivos móveis.

ChatGPT e Claude têm ótimo desempenho, mas para quem se preocupa com custo ou segurança, uma boa alternativa é instalar o Ollama no próprio computador e usar um LLM adequado às suas necessidades.
Como o código-fonte é em Flutter, é possível compilar e usar em iPhone e celulares Android.

Introdução

Ollama é um software open source que facilita a execução de grandes modelos de linguagem (Large Language Models, LLMs) em um computador local. Com o MyOllama, você pode se conectar ao Ollama e aproveitar vários LLMs. MyOllama - como os LLMs são executados no seu próprio computador por meio do programa Ollama, é possível conversar com modelos de IA sem pagar taxas de uso separadas.

Principais recursos

  • Acesso remoto a LLM: conexão ao host Ollama por endereço IP
  • Prompts personalizados: suporte à configuração de Instruction definida pelo usuário
  • Suporte a vários LLMs open source (Llama, Gemma, Qwen, Mistral etc.)
  • Possibilidade de configurar Instruction personalizada
  • Suporte a reconhecimento de imagens (apenas para modelos que oferecem esse recurso)
  • UI intuitiva em formato de chat
  • Histórico de conversas: salvamento e gerenciamento de sessões de chat
  • Suporte a iOS e Android
  • Suporte a coreano, English e 日本語

Como usar

  • Instale o Ollama no seu computador (compatível com macOS, Windows e Linux). As instruções de instalação podem ser consultadas no GitHub do Ollama.
  • Baixe o código-fonte e compile com Flutter, ou baixe o app MyOllama na App Store.
  • Instale no Ollama o modelo que desejar. Download de modelos
  • Altere as configurações do Ollama para permitir acesso remoto.
  • Execute o app MyOllama e insira o endereço IP do computador onde o Ollama está instalado.
  • Selecione o modelo de IA desejado e comece a conversar.

Vantagens

  • Este app foi projetado para desenvolvedores e pesquisadores que querem usar LLMs open source de forma eficiente. Ele pode ser usado em vários experimentos técnicos, como chamadas de API, prompt engineering e testes de desempenho de modelos.
  • Uso gratuito de recursos avançados de IA
  • Suporte a vários modelos de LLM
  • Proteção de privacidade (execução em computador local)
  • Pode ser usado para programação, trabalho criativo, perguntas do dia a dia e vários outros fins
  • Estruturado para permitir a continuidade do contexto da conversa

Observações

  • Para usar este app, é indispensável ter um computador com Ollama instalado.
  • A configuração e o gerenciamento do host Ollama são de responsabilidade do usuário. Atenção às configurações de segurança.

Leituras relacionadas

2 comentários

 
chungjungsoo 2024-11-23

Eu também criei e estou operando atualmente um app parecido, embora com um objetivo diferente, e a Ollama também lançou recentemente uma atualização com suporte para isso.
Parece que há muitos pedidos pela Ollama, especialmente no exterior.

https://pt.news.hada.io/topic?id=15375