Navigation

    西南IT社区
    • Register
    • Login
    • Search
    • 主页
    • 问答
    • 话题
    • 热门
    • 圈子
    • 工作机会
    • 活动
    • 项目

    跟踪超大规模表的新格式Apache-Iceberg

    开源推荐
    apache-iceberg
    1
    1
    36
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • D
      dicang67414 last edited by

      Apache Iceberg 是一种新的表格格式,用于存储和分析大型的、移动缓慢的表格数据。它的工作方式类似于 SQL 表,它旨在改进内置在 Hive、Presto 和 Spark 中的事实上的标准表布局。

      对于使用者来说:模式演化(Schema evolution)支持添加、删除、更新或重命名,并且没有副作用;隐藏分区(Hidden partitioning)可以防止导致错误提示或非常慢查询的用户错误;分区布局演变(Partition layout evolution)可以随着数据量或查询模式的变化而更新表的布局;时光穿梭(Time travel)可使用完全相同的表快照实现重新查询,或者使用户轻松检查更改;版本回滚使用户可以通过将表重置为良好状态来快速纠正问题;可靠性与性能方面,Iceberg 可用于生产中,它的一个表可以包含数十 PB 的数据,即使没有分布式 SQL 引擎也可以读取这些巨大规模的表。

      Apache Iceberg扫描速度很快,无需使用分布式 SQL 引擎即可读取表或查找文件;高级过滤,使用表元数据对数据文件以分区和列级统计信息进行修剪。

      Iceberg 旨在解决最终一致的云对象存储中的正确性问题:可与任何云存储一起使用,并且通过避免列出(list)和重命名,可以在 HDFS 中减少 NN 拥塞;可序列化的隔离,表更改是原子性的,对外永远不会有部分更改或未提交的更改;多个并发写入器使用乐观并发,即使写入冲突,也将重试以确保兼容更新成功。

      项目地址: https://iceberg.apache.org/

      4038436d-f9fc-4253-9f94-c2f431a2783e-image.png

      1 Reply Last reply Reply Quote 0
      • First post
        Last post
      使用HTML构建办公软件 使用HTML构建办公软件 使用HTML构建办公软件
      D
      1
      光
      A
      庆
      小
      U
      Y
      L
      I
      Z
      I
      Y
      C
      Z
      E
      Y
      U
      I
      A
      Z
      Y
      Y
      罗
      R

      西南地区IT社群(QQ)
      云南
      【昆明网页设计交流吧】243627302
      【昆明nodejs交流吧】 243626749
      【VUE】838405306
      【云南程序员总群】343606807
      【昆明UI设计】104031254
      【云南软件外包】15547313
      贵州
      【PHP/java源码/站长交流群】55692114
      四川
      【成都Java/JavaWeb交流】86669225
      【vaScript+PHP+MySql】116270060
      【UI设计/设计交流学习群】135794928
      重庆
      【诺基亚 JAVA游戏博物馆】 559479780
      【PHP,Java,Python,C++接单】 442103442
      西藏
      社群
      昆明网页设计交流吧
      友情链接
      • Funtask
      • Funtask 社区
      • SUWIS
      ©2019-2021 滇ICP备20006698号