- O Ollama agora oferece suporte a chamadas de ferramentas em modelos como o Llama 3.1
- Isso permite que o modelo use as ferramentas que conhece para responder ao prompt fornecido, realizando tarefas mais complexas ou interagindo com o mundo externo
- Ferramentas: funções e APIs, navegação na web, interpretador de código
- Para ativar chamadas de ferramentas, é preciso fornecer a lista de ferramentas disponíveis pelo campo
tools da API do Ollama, e os modelos compatíveis agora respondem com tool_calls. As respostas das ferramentas podem ser fornecidas por meio de mensagens com o papel tool
- Modelos compatíveis: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
- O endpoint compatível com OpenAI do Ollama agora também oferece suporte a ferramentas, podendo ser usado ao alternar para o Llama 3.1 e outros modelos
- Melhorias futuras
- Chamadas de ferramentas em streaming: suporte a streaming de chamadas de ferramentas para começar a trabalhar mais rápido quando várias ferramentas forem retornadas
- Seleção de ferramentas: possibilidade de forçar o modelo a usar uma ferramenta específica
1 comentários
https://pt.news.hada.io/topic?id=13436
É uma funcionalidade parecida com a do phidata, né? Nesse caso bastava documentar bem a
docstring, mas se não fosse GPT, não dava para usar tools.