Navigation

    西南IT社区
    • Register
    • Login
    • Search
    • 主页
    • 问答
    • 话题
    • 热门
    • 圈子
    • 工作机会
    • 活动
    • 项目

    数据监管监控工具Apache Airflow

    开源推荐
    apache airflow 数据监管监控工具
    1
    1
    49
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 梦断畅通
      梦断畅通 last edited by

        Airflow 数据监管监控工具被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 语言编写的平台上运行,目前Airflow 数据监管监控工具加入 Apache 基金会孵化器。Airflow 监管监控工具允许工作流开发人员轻松创建、维护和周期性地调度运行工作流—即有向无环图或成为DAGs的工具。在Airbnb监管监控工具中,这些工作流包括了如数据存储、增长分析、Email发送、A/B测试等等这些跨越多部门的用例。

        这个平台拥有和 Hive、Presto、MySQL数据库、HDFS、Postgres和S3等多个软件之间的交互的能力,并且提供了钩子使得系统拥有很好地扩展性。除了一个命令行界面,该工具还提供了一个 基于Web网页端的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。

      项目地址:
      https://www.oschina.net/p/airflow
      68a72bc2-37bf-4227-b561-1207bd93e9a0-image.png

      1 Reply Last reply Reply Quote 0
      • First post
        Last post
      使用HTML构建办公软件 使用HTML构建办公软件 使用HTML构建办公软件
      光
      A
      庆
      小
      U
      Y
      L
      I
      Z
      I
      Y
      C
      Z
      E
      Y
      U
      I
      A
      Z
      Y
      Y
      罗
      R
      大

      西南地区IT社群(QQ)
      云南
      【昆明网页设计交流吧】243627302
      【昆明nodejs交流吧】 243626749
      【VUE】838405306
      【云南程序员总群】343606807
      【昆明UI设计】104031254
      【云南软件外包】15547313
      贵州
      【PHP/java源码/站长交流群】55692114
      四川
      【成都Java/JavaWeb交流】86669225
      【vaScript+PHP+MySql】116270060
      【UI设计/设计交流学习群】135794928
      重庆
      【诺基亚 JAVA游戏博物馆】 559479780
      【PHP,Java,Python,C++接单】 442103442
      西藏
      社群
      昆明网页设计交流吧
      友情链接
      • Funtask
      • Funtask 社区
      • SUWIS
      ©2019-2021 滇ICP备20006698号