vLLM Compose - alterne/atenda facilmente vários modelos vLLM com perfis do Docker Compose

É uma ferramenta de gerenciamento TUI dedicada ao vLLM que resolve as inconveniências de servir vários LLMs localmente (reinserir comandos Docker para cada modelo, lembrar configurações de GPU e monitorar o estado).

• Salva configurações por modelo como perfis YAML e permite iniciar/parar com apenas um Enter na TUI
• Quick Setup: basta inserir o nome do modelo para gerar automaticamente o perfil + configuração
• Inclui dashboard de monitoramento em tempo real da GPU e função de estimativa prévia de uso de memória (hf-mem)
• Autocompletar de argumentos do vLLM: extrai automaticamente da imagem real do vLLM a lista de argumentos disponíveis e oferece autocompletar com a tecla Tab
• Licença MIT; requer Python 3.10+ / Docker / ambiente com GPU NVIDIA

https://bae-changhyun.github.io/vllm-compose/