Navigation

    西南IT社区
    • Register
    • Login
    • Search
    • 主页
    • 问答
    • 话题
    • 热门
    • 圈子
    • 工作机会
    • 活动
    • 项目

    大规模数据集增量处理系统ApacheFluo

    开源推荐
    1
    1
    33
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • L
      lunzhecou946 last edited by

      Apache Fluo是Google Percolator(搜索索引)的开源实现,允许用户对存储在 Apache Accumulo 中的大型数据集进行增量更新,而无需重新处理所有的数据。与批处理和流处理框架不同的是,Fluo 提供了更低的延迟,并且可以在极大的数据集上运行。

      在将新数据与现有数据相结合时,与批处理框架(例如 Spark,MapReduce)相比,Fluo 可明显减少延迟。其增量更新是使用事务实现的,允许数千个更新同时发生而不会破坏数据。

      Fluo tarball 现在仅用于初始化 Fluo 并运行本地进程。

      fluo.properties配置文件已被弃用,并被fluo-conn.properties和fluo-app.properties替代。fluo-conn.properties包含连接属性,并由Fluo应用共享。fluo-app.properites 包含特定于应用程序的属性,仅在 Fluo 应用的初始化过程中使用。在 YARN 中启动 Fluo 应用的代码已移至专属的 fluo-yarn 项目中。Fluo jars 现在存储在 HDFS 中,应用配置存储在 Zookeeper 中。现在可使用-o选项在命令行中指定 Fluo 配置选项。

      Fluo脚本现在支持传递 Java 选项。Fluo已于2017年7月孵化成功,毕业成为Apache顶级项目。

      项目地址: https://github.com/apache/fluo

      9e71f5a3-8927-4910-9a8d-1be3c2511147-image.png

      1 Reply Last reply Reply Quote 0
      • First post
        Last post
      使用HTML构建办公软件 使用HTML构建办公软件 使用HTML构建办公软件
      L
      光
      A
      庆
      小
      U
      Y
      L
      I
      Z
      I
      Y
      C
      Z
      E
      Y
      U
      I
      A
      Z
      Y
      Y
      罗
      R
      大

      西南地区IT社群(QQ)
      云南
      【昆明网页设计交流吧】243627302
      【昆明nodejs交流吧】 243626749
      【VUE】838405306
      【云南程序员总群】343606807
      【昆明UI设计】104031254
      【云南软件外包】15547313
      贵州
      【PHP/java源码/站长交流群】55692114
      四川
      【成都Java/JavaWeb交流】86669225
      【vaScript+PHP+MySql】116270060
      【UI设计/设计交流学习群】135794928
      重庆
      【诺基亚 JAVA游戏博物馆】 559479780
      【PHP,Java,Python,C++接单】 442103442
      西藏
      社群
      昆明网页设计交流吧
      友情链接
      • Funtask
      • Funtask 社区
      • SUWIS
      ©2019-2021 滇ICP备20006698号