- Um orquestrador de workflows de propósito geral, escalável horizontalmente, que oferece Workflow as a Service (WAAS) totalmente gerenciado
- Gerencia workflows em larga escala, como pipelines de dados e pipelines de treinamento de modelos de machine learning
- Supervisiona todo o ciclo de vida do workflow, incluindo novas tentativas, filas e distribuição de tarefas
- Suporta pacotes de lógica de negócio em vários formatos (imagens Docker, notebooks, scripts bash, SQL, Python etc.)
- Suporta não apenas DAGs (Directed Acyclic Graph), mas também workflows acíclicos e cíclicos
- Inclui vários padrões reutilizáveis, como loops
foreach, subworkflows e ramificações condicionais
- Definição de orquestração flexível e poderosa em formato JSON
- Mantém consistência dos principais atributos (autor, informações do proprietário, configurações de execução)
- Cria uma nova versão a cada mudança no workflow, permitindo rastreamento e rollback fácil
- Milhares de usuários da Netflix, incluindo cientistas de dados, engenheiros de dados, engenheiros de machine learning, engenheiros de software, criadores de conteúdo e analistas de negócios, usam esse serviço para diversos casos de uso
- A existência do serviço já havia sido divulgada há 2 anos, e agora ele foi lançado como open source
- Suporta vários casos de uso de workflows, como pipelines ETL, workflows de ML e pipelines de testes A/B
- Com escalabilidade horizontal, consegue gerenciar um grande número de workflows e muitas tarefas dentro de cada workflow
- Todos os dias, agenda centenas de milhares de workflows e milhões de tarefas, operando com SLOs rigorosos mesmo em cenários de pico de tráfego
- Migrou com sucesso os milhões de workflows existentes na Netflix para o Maestro sem interrupções
- No último ano, o número de tarefas executadas aumentou 87,5%
- Em média, executa centenas de milhares de tarefas por dia e, em dias mais movimentados, conclui cerca de 2 milhões de tarefas
1 comentários
Parece que a IA resumiu o texto de apresentação que foi publicado junto com o lançamento como open source: Maestro: o orquestrador de workflows da Netflix
Mas existem coisas demais com o nome Maestro haha
Maestro - kernel baseado em Rust compatível com Linux
Maestro - framework de testes automatizados de UI para apps móveis