Vamos verificar se o Airflow é mesmo a melhor opção para o meu caso de uso

• Há alternativas demais ao Airflow, então é preciso verificar com certeza se o Airflow é realmente a melhor solução para o meu caso de uso (ou sequer se é uma solução válida)
• Alternativas mencionadas no texto
  • Prefect
  • Dagster
  • Cadence
  • Temporal

[hmkim]

Há também cwl, wdl, nextflow, snakemake etc.

[kbumsik]

O problema é que, até experimentar por conta própria em uma certa escala, não é fácil prever se o Airflow realmente combina com você.
Parece que, para algo tão famoso, existem algumas armadilhas que são difíceis de perceber de antemão.

Ausência de gatilho de DAGrun baseado em eventos, desenvolvimento local nada simples (no 2.2 surgiu o airflow standalone, então ficou um pouco mais fácil), configuração de DAG pouco dinâmica, e também o fato de que, se você não entender bem o funcionamento interno, é fácil acabar não usando templates jinja e usando Variable de forma inadequada, etc...

No próximo projeto, quero experimentar o Dagster.