Lições aprendidas ao operar o Airflow em larga escala

A Shopify usa isso para extração de dados, treinamento de modelos de machine learning, manutenção de tabelas Apache Iceberg, modelagem de dados baseada em DBT etc.

1. O acesso a arquivos pode ser lento ao usar armazenamento em nuvem
   → Melhoria de desempenho com GCS + NFS
2. Quando o volume de metadados cresce, as operações do Airflow podem ficar lentas
   → Uso de política de retenção definida para 28 dias
3. Pode ser difícil vincular DAGs a usuários e equipes
   → Uso de um repositório centralizado de metadados
4. Autores de DAGs têm muitas permissões
   → Uso de política de DAG
5. É difícil garantir balanceamento de carga consistente
   → Gerar agendamentos padronizados para reduzir picos de tráfego
6. Existem vários pontos de contenção de recursos
   → Uso de Pools, Priority Weight, Celerey Queue e Isolated Workers