Ollama passa a oferecer suporte a saídas estruturadas

 (ollama.com)
13 pontos por xguru 2024-12-08 | 1 comentários | Compartilhar no WhatsApp
  • O Ollama agora oferece suporte ao recurso de saídas estruturadas (Structured Output), que usa esquema JSON para restringir a saída do modelo a um formato específico
  • As bibliotecas Python e JavaScript foram atualizadas para permitir o uso desse recurso
  • Principais casos de uso de saídas estruturadas
    • Parsing de dados em documentos
    • Extração de dados de imagens
    • Estruturação de respostas de qualquer modelo de linguagem
    • Maior confiabilidade e consistência do que o modo JSON
  • Dicas de uso
    • Definir o esquema JSON com Pydantic (Python) ou Zod (JavaScript)
    • Adicionar "retorne em JSON" ao prompt
    • Reduzir a configuração de temperature para 0 para garantir saída determinística
  • Planos futuros
    • Suporte ao controle de geração com exposição de logits
    • Melhorias de desempenho e precisão
    • Suporte a formatos adicionais além de esquema JSON
    • Suporte a sampling acelerado por GPU

Leituras relacionadas

1 comentários

 
curiousotter 2024-12-10

Antes, eu incluía o JSON Schema como parte do prompt e usava apenas format: json nos parâmetros da API, mas agora dá para economizar tokens e configurar tudo de forma mais prática!