18 pontos por GN⁺ 2024-01-26 | 1 comentários | Compartilhar no WhatsApp
  • Ollama é um projeto open source que facilita a execução local de LLMs como Llama 2 e Mistral
    • Suporta Mac/Linux, e o Windows em breve poderá rodar via WSL2
  • Foram lançadas as versões iniciais das bibliotecas de Python e JavaScript do Ollama, permitindo integrar novos apps e apps existentes ao Ollama com apenas algumas linhas de código
    • É possível usar exatamente os recursos e a experiência da API REST do Ollama

Primeiros passos

  • Em Python, a instalação pode ser feita com pip install ollama; depois, use import ollama e a função ollama.chat para iniciar uma conversa.
  • Em JavaScript, a instalação pode ser feita com npm install ollama; depois, use import ollama from 'ollama' e a função ollama.chat para iniciar uma conversa.

Casos de uso

  • As duas bibliotecas oferecem suporte a todo o conjunto de funcionalidades do Ollama.
  • Os exemplos em Python incluem streaming, multimodal, conclusão de texto, criação de modelos personalizados e configuração de clientes personalizados.

Novo handle no GitHub

  • Estas bibliotecas e o repositório principal do Ollama agora são mantidos na nova organização do GitHub, ollama.
  • Agradecem aos membros da comunidade que mantêm bibliotecas para interagir com o Ollama em várias linguagens de programação, como Dart, Swift, C#, Java, PHP e Rust.

1 comentários

 
joone 2024-01-29

A API de node também funcionou bem. Usei bastante desta vez.