高性能异构AI推理引擎Anakin
-
Anakin 是一款跨平台的高性能推理引擎,最初是由百度工程师开发的,是工业产品的大规模应用。您可以在 x86-cpu、arm、nv-gpu、amd-gpu、bitmain 和 cambricon 设备上运行 Anakin。
Anakin特征灵活性,Anakin是一个跨平台的高性能推理引擎,支持广泛的神经网络架构和不同的硬件平台。在 GPU / x86 / ARM 平台上运行 Anakin 很容易。
Anakin 已与 NVIDIA TensorRT 集成,并开放了集成 API 的这一部分以提供服务,开发人员可以直接调用该 API 或根据需要对其进行修改,这将更加灵活地满足开发要求。
Anakin高性能,为了充分发挥硬件的性能,该团队在不同级别优化了前向预测。
自动图形融合。给定算法下所有性能优化的目标是使 ALU 尽可能繁忙,操作员融合可以有效减少内存访问并保持 ALU 繁忙。
内存重用。前向预测是一种单向计算,该团队在不同运算符的输入和输出之间重用内存,从而减少了整体内存开销。
装配级优化。Sabre 是 Anakin 的基础DNN库,在装配级别进行了深度优化。
项目地址: https://github.com/paddlepaddle/paddle
西南地区IT社群(QQ)
- 云南
- 【昆明网页设计交流吧】243627302
- 【昆明nodejs交流吧】 243626749
- 【VUE】838405306
- 【云南程序员总群】343606807
- 【昆明UI设计】104031254
- 【云南软件外包】15547313
- 贵州
- 【PHP/java源码/站长交流群】55692114
- 四川
- 【成都Java/JavaWeb交流】86669225
- 【vaScript+PHP+MySql】116270060
- 【UI设计/设计交流学习群】135794928
- 重庆
- 【诺基亚 JAVA游戏博物馆】 559479780
- 【PHP,Java,Python,C++接单】 442103442
- 西藏