Uma stack de infraestrutura que permite desenvolver rapidamente em ambiente local e depois executar em larga escala na nuvem sem alterar o código. Cria snapshots do código/dados/dependências em que você estava trabalhando no notebook e os salva no S3 ou no sistema de arquivos, tornando possível retomar workflows ou reproduzir resultados anteriores.
2 comentários
Para entender por que é MetaFlow, consulte a explicação em imagem em https://docs.metaflow.org/introduction/why-metaflow .
Netflix e AWS desenvolveram juntos, então há uma integração profunda.
No ambiente local, salva no disco e, com o notebook instalado, dá para desenvolver de forma rápida e prática.
Ao subir para a AWS, é possível usar os serviços abaixo para executar em grande escala.
Metadata - RDS ou Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
As bibliotecas reais de machine learning/ciência de dados podem ser integradas independentemente de você usar PyTorch, TensorFlow ou Scikit-Learn.