- É possível consultar LLMs (grandes modelos de linguagem) em linguagem natural, mas às vezes o LLM não consegue compreender com precisão a intenção humana
- Para resolver isso, pesquisadores do SRIlab (Secure, Reliable, and Intelligent Systems Lab) da ETH Zürich, na Suíça, propuseram o conceito de LMP (Language Model Programming)
- A linguagem e plataforma que implementa o conceito de LMP é o LMQL (Language Model Query Language)
- Sintaxe declarativa semelhante a instruções SQL
- Controla o modo de funcionamento ao impor restrições claras aos resultados gerados pelo LLM, evitando saídas inesperadas
- Implementado em Python, permitindo usar funções Python e fluxo de controle em consultas de IA
- Suporta GPT-4 via API da OpenAI e modelos Transformer hospedados localmente
- Como economiza tokens consumidos, pode reduzir em 26% a 85% o custo de uso de APIs pagas
- Artigo: https://doi.org/10.48550/arXiv.2212.06094
- Documentação: https://docs.lmql.ai/
- Playground: https://lmql.ai/playground
- Github: https://github.com/eth-sri/lmql
Ainda não há comentários.