大规模数据集增量处理系统ApacheFluo
-
Apache Fluo是Google Percolator（搜索索引）的开源实现，允许用户对存储在 Apache Accumulo 中的大型数据集进行增量更新，而无需重新处理所有的数据。与批处理和流处理框架不同的是，Fluo 提供了更低的延迟，并且可以在极大的数据集上运行。
在将新数据与现有数据相结合时，与批处理框架（例如 Spark，MapReduce）相比，Fluo 可明显减少延迟。其增量更新是使用事务实现的，允许数千个更新同时发生而不会破坏数据。
Fluo tarball 现在仅用于初始化 Fluo 并运行本地进程。
fluo.properties配置文件已被弃用，并被fluo-conn.properties和fluo-app.properties替代。fluo-conn.properties包含连接属性，并由Fluo应用共享。fluo-app.properites 包含特定于应用程序的属性，仅在 Fluo 应用的初始化过程中使用。在 YARN 中启动 Fluo 应用的代码已移至专属的 fluo-yarn 项目中。Fluo jars 现在存储在 HDFS 中，应用配置存储在 Zookeeper 中。现在可使用-o选项在命令行中指定 Fluo 配置选项。
Fluo脚本现在支持传递 Java 选项。Fluo已于2017年7月孵化成功，毕业成为Apache顶级项目。
项目地址： https://github.com/apache/fluo
