Lanarky - Framework open source para colocar LLMs em produção
(github.com/ajndkr)- Baseado em FastAPI
- Streaming de tokens em múltiplos modos
- Chatbot simples em gradio para prototipagem rápida
- Suporte para aplicações LangChain
- Várias estratégias de cache para LLMs
- Em breve: suporte a LlamaIndex, Guidance, Rebuff e integração com bancos de dados SQL
Ainda não há comentários.