数据监管监控工具Apache Airflow

[梦断畅通]

  Airflow 数据监管监控工具被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 语言编写的平台上运行，目前Airflow 数据监管监控工具加入 Apache 基金会孵化器。Airflow 监管监控工具允许工作流开发人员轻松创建、维护和周期性地调度运行工作流—即有向无环图或成为DAGs的工具。在Airbnb监管监控工具中，这些工作流包括了如数据存储、增长分析、Email发送、A/B测试等等这些跨越多部门的用例。

  这个平台拥有和 Hive、Presto、MySQL数据库、HDFS、Postgres和S3等多个软件之间的交互的能力，并且提供了钩子使得系统拥有很好地扩展性。除了一个命令行界面，该工具还提供了一个 基于Web网页端的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。

项目地址：
https://www.oschina.net/p/airflow