机器学习模型的加速器ONNX Runtime
-
ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。
ONNX Runtime 推理可以实现更快的客户体验和更低的成本,支持PyTorch和TensorFlow/Keras等深度学习框架的模型,以及scikit-learn、LightGBM、XGBoost等经典机器学习库。ONNX运行时与不同的硬件、驱动程序和操作系统兼容,并通过利用硬件加速器(如适用)以及图形优化和转换,提供最佳性能。了解更多信息ONNX Runtime 训练可以通过对现有 PyTorch 训练脚本的一行添加来加快 Transformer 模型在多节点 NVIDIA GPU 上的模型训练时间。
特性:内置优化,可提供高达 17 倍的推理速度和高达 1.4 倍的训练速度,支持多种框架、操作系统和硬件平台,在 Office 365、Visual Studio 和 Bing 中使用,每天提供半万亿次推理,
ONNX Runtime 推理的示例用例包括:提高各种 ML 模型的推理性能,在不同的硬件和操作系统上运行,在 Python 中训练但部署到 C#/C++/Java 应用程序中,使用在不同框架中创建的模型训练和执行推理。
西南地区IT社群(QQ)
- 云南
- 【昆明网页设计交流吧】243627302
- 【昆明nodejs交流吧】 243626749
- 【VUE】838405306
- 【云南程序员总群】343606807
- 【昆明UI设计】104031254
- 【云南软件外包】15547313
- 贵州
- 【PHP/java源码/站长交流群】55692114
- 四川
- 【成都Java/JavaWeb交流】86669225
- 【vaScript+PHP+MySql】116270060
- 【UI设计/设计交流学习群】135794928
- 重庆
- 【诺基亚 JAVA游戏博物馆】 559479780
- 【PHP,Java,Python,C++接单】 442103442
- 西藏