Navigation

    西南IT社区
    • Register
    • Login
    • Search
    • 主页
    • 问答
    • 话题
    • 热门
    • 圈子
    • 工作机会
    • 活动
    • 项目

    用于数据分析应用程序的高性能运行时Weld-Project

    极客生涯
    weld-project 用于数据分析应用程序的高性能
    1
    1
    51
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 梦断畅通
      梦断畅通 last edited by

        Weld 使用 Rust 语言编写,可以使用 LLVM 编译器框架,为整个数据分析工作流生成高效的并行运行的代码。CSAIL 曾开发出了几个将速度推向极限的大数据加速项目,比如 Milk 和 Tapir。这个小组声称 Weld 是一种面向数据分析的通用运行时环境,它拿来现代数据处理堆栈几个分离的部分后,可以步调一致地优化它们。

        每一个部分快速运行,但是“跨不同功能的数据移动可能占了执行时间的大部分。”换句话说,管道花在将数据在各部分之间来回移动上的时间超过了花在实际处理数据上的时间。Weld 创建了一种每个库都可以接入的运行时环境,提供了一种通用方法,可以跨管道运行需要并行化和优化的关键数据。诸多框架本身并不为运行时环境生成代码。相反,它们通过 API 来调用 Weld,该 API 描述了处理哪种类型的工作。然后,Weld 使用 LLVM 生成可自动包括优化机制(比如多线程处理)或面向高速向量运算的英特尔 AV2 处理器扩展的代码。

      项目地址:https://www.oschina.net/p/weld-project
      c8340671-0cf9-4911-a218-0ae95b6cbfbd-image.png

      1 Reply Last reply Reply Quote 0
      • First post
        Last post
      使用HTML构建办公软件 使用HTML构建办公软件 使用HTML构建办公软件
      娇
      玩
      1
      光
      A
      庆
      小
      U
      Y
      L
      I
      Z
      I
      Y
      C
      Z
      E
      Y
      U
      I
      A
      Z
      Y
      Y

      西南地区IT社群(QQ)
      云南
      【昆明网页设计交流吧】243627302
      【昆明nodejs交流吧】 243626749
      【VUE】838405306
      【云南程序员总群】343606807
      【昆明UI设计】104031254
      【云南软件外包】15547313
      贵州
      【PHP/java源码/站长交流群】55692114
      四川
      【成都Java/JavaWeb交流】86669225
      【vaScript+PHP+MySql】116270060
      【UI设计/设计交流学习群】135794928
      重庆
      【诺基亚 JAVA游戏博物馆】 559479780
      【PHP,Java,Python,C++接单】 442103442
      西藏
      社群
      昆明网页设计交流吧
      友情链接
      • Funtask
      • Funtask 社区
      • SUWIS
      ©2019-2021 滇ICP备20006698号