- Uma linguagem que permite controlar modelos de linguagem de forma mais eficaz do que prompts tradicionais.
- Com base em templates Handlebars, permite especificar a estrutura e a forma da saída, além de controlar o fluxo lógico.
- Usa cache de chave/valor dentro do prompt e faz a inferência apenas nas partes desejadas, melhorando o desempenho da inferência.
- Vai além do simples controle da estrutura de saída e pode até garantir sintaxe válida, como JSON.
- Oferece integração fácil com modelos do HuggingFace.
3 comentários
À primeira vista, parece mais flexível e fácil de usar do que o LMQL, mas fico curioso para saber o relato de quem já usou na prática.
Muito útil. Seria ótimo se houvesse uma versão portada para Node.js.
Há muitos exemplos no repositório, e só de olhar para eles já fica bem interessante.
Especialmente nos casos em que é necessária uma saída estruturada, parece muito bom o ponto de fazer o LLM gerar apenas a parte do conteúdo, em vez do todo, reduzindo o tempo de inferência pela metade.