Apache Airflow工作流编排与容错实践

# 概述 Airflow 通过 DAG 描述任务依赖与调度。本文提供并发与队列、重试与回退、SLA 与告警、参数化与 XCom 的实践清单与验证方法。 # DAG 与依赖（已验证） - 明确任务边界与 `set_upstream/downstream`； - 使用 `TriggerRule` 控制分支与汇合行为。 # 并发与队列 - `max_active_runs` 与任务级并发限制； - 队列与优先级控制资源使用。 # 重试与回退 - 指数退避重试； - 失败回退与补偿任务； # SLA 与告警 - 任务与 DAG 级 SLA； - 告警渠道（Email/Slack）与抑制策略。 # 参数与 XCom - 使用 `params` 与 `Variable` 注入配置； - XCom 传递小型数据；大数据使用存储传参。 # 示例（片段） ```python with DAG('example', schedule_interval='@daily', max_active_runs=1) as dag: t1 >> t2 ``` # 验证与监控 - 指标：任务成功率、运行时长与队列等待； - 回归：变更前后 DAG 运行对比； # 常见误区 - 使用 XCom 传大数据导致性能问题； - 无并发与队列限制造成资源争用； - SLA 缺失无法及时告警。 # 结语 以清晰的依赖与并发控制、可靠的重试与回退、SLA 与告警，以及参数化与 XCom 的合理使用，Airflow 可在复杂编排场景稳定运行。