Cog: ferramenta de contêiner para machine learning

• Ferramenta open source que permite empacotar modelos de machine learning em um nível pronto para uso em produção
• Gera facilmente imagens Docker que já incluem todas as melhores práticas, como imagem base da NVidia + cache + Python + valores padrão de variáveis de ambiente
  → com compatibilidade de versões entre CUDA/cuDNN/PyTorch/TensorFlow/Python etc.
• Gera esquemas OpenAPI por meio do Pydantic
• Gera dinamicamente APIs HTTP RESTful com FastAPI com base nos tipos do modelo
• Fornece um queue worker baseado em Redis para modelos de deep learning de longa execução ou processamento em lote (com mais opções planejadas)
• Foi criado para o Replicate, um SaaS de ML, mas também pode ser usado na sua própria infraestrutura