OpenLLM - plataforma aberta para operar LLMs em produção

• Suporta vários tipos de LLMs, permitindo inferência e implantação
  • StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
• Serve LLMs como API RESTful ou gRPC com um único comando
  • Pode ser chamado a partir de WebUI, CLI, cliente Python/Javascript ou qualquer cliente HTTP
• Suporte integrado a LangChain, BentoML e HuggingFace
• Suporte a ajuste fino de LLM previsto para breve