Ploomber - framework open source para criar pipelines de dados rapidamente

• Desenvolvimento usando Jupyter/VSCode/PyCharm etc.

• Implantação em servidores de produção sem mudanças no código: Kubernetes, AWS Batch, Airflow, Kubeflow, Slurm etc.

• Possibilidade de refatorar notebooks existentes em pipelines modulares

Principais recursos

• Desenvolvimento rápido usando YAML

• API Python poderosa para oferecer flexibilidade

• Faz cache automaticamente dos resultados anteriores do pipeline e recalcula apenas o que mudou desde a execução anterior

• Implantação distribuída com shell script ou Kubernetes, Airflow, AWS Batch etc.

[japansea]

Não dá para competir com o Kafka, né?