Apache Airflow

Airflow 是一个以编程方式编写、调度和监控数据管道的平台。 使用 Airflow 将工作流程创作为任务的有向无环图 (DAG)。 Airflow 调度程序在一组工作人员上执行您的任务，同时遵循指定的依赖关系。丰富的命令行实用程序使在 DAG 上执行复杂的操作变得轻而易举。丰富的用户界面可以轻松可视化生产中运行的管道、监控进度并在需要时解决问题。 原则 动态：气流管道是配置为代码 (Python)，允许动态管道生成。这允许编写动态实例化管道的代码。 可扩展：轻松定义您自己的操作符、执行程序并扩展库，使其符合适合您环境的抽象级别。 优雅：气流管道简洁、明确。参数化脚本是使用强大的 Jinja 模板引擎构建在 Airflow 的核心中的。 可扩展：Airflow 具有模块化架构，并使用消息队列来协调任意数量的工作人员。气流已准备好扩展到无穷大。

Apache Airflow是一个平台，用于以编程方式编排、调度和监控数据管道。它允许用户将工作流编写为有向无环图（DAGs）的任务，并在生产环境中可视化、监控进度并排除故障。