- Ollama é um projeto open source que facilita a execução local de LLMs como Llama 2 e Mistral
- Suporta Mac/Linux, e o Windows em breve poderá rodar via WSL2
- Foram lançadas as versões iniciais das bibliotecas de Python e JavaScript do Ollama, permitindo integrar novos apps e apps existentes ao Ollama com apenas algumas linhas de código
- É possível usar exatamente os recursos e a experiência da API REST do Ollama
Primeiros passos
- Em Python, a instalação pode ser feita com
pip install ollama; depois, useimport ollamae a funçãoollama.chatpara iniciar uma conversa. - Em JavaScript, a instalação pode ser feita com
npm install ollama; depois, useimport ollama from 'ollama'e a funçãoollama.chatpara iniciar uma conversa.
Casos de uso
- As duas bibliotecas oferecem suporte a todo o conjunto de funcionalidades do Ollama.
- Os exemplos em Python incluem streaming, multimodal, conclusão de texto, criação de modelos personalizados e configuração de clientes personalizados.
Novo handle no GitHub
- Estas bibliotecas e o repositório principal do Ollama agora são mantidos na nova organização do GitHub,
ollama. - Agradecem aos membros da comunidade que mantêm bibliotecas para interagir com o Ollama em várias linguagens de programação, como Dart, Swift, C#, Java, PHP e Rust.
1 comentários
A API de node também funcionou bem. Usei bastante desta vez.