Apache Airflow数据编排平台：DAG设计与任务调度实战

## Airflow核心架构概念 Apache Airflow以DAG（有向无环图）定义工作流，节点代表任务边代表依赖。Scheduler解析DAG触发任务，Executor实际执行。组件：Webserver可视化管理，Scheduler调度触发，Metadata DB存储状态（PostgreSQL），Executor执行（Local单机、Celery分布式、Kubernetes Pod级隔离）。操作符：PythonOperator执行Python、BashOperator执行Shell、BranchPythonOperator条件分支、Sensor等待外部条件满足。XCom任务间传递少量数据如上游文件路径传下游。调度支持Cron、定时间隔和手动触发，catchup控制是否补跑历史。 ## DAG设计最佳实践 任务粒度控制5到15分钟执行范围，超30分钟考虑拆分子任务。幂等性必备——任务可能重试多次执行结果应一致：用UPSERT非INSERT，覆盖写入，先删再写。错误处理：retries和retry_delay配置重试次数和间隔，外部API建议指数退避，失败回调on_failure_callback触发告警。跨DAG依赖用TriggerDagRunOperator或ExternalTaskSensor。动态DAG用参数列表循环生成避免重复文件。数据质量检查插入验证任务确保上游质量满足要求再执行下游。 ## 生产部署与运维 高可用：Scheduler多实例分布式锁协调防重复触发，Webserver负载均衡，Celery Worker动态调规模。Kubernetes Executor每任务独立Pod天然隔离故障隔离。DB用PostgreSQL主从复制。安全：RBAC权限控制DAG访问，连接密码用Vault后端加密。日志输出S3/GCS/ELK避免DB膨胀。监控覆盖Scheduler心跳、DAG解析失败、执行超时和失败率突增。Prometheus加airflow-exporter可视化指标。Celery Worker并发数和K8s资源请求精确配置。版本升级前在非生产环境充分验证。