机器学习模型的加速器ONNX Runtime

[dashuaiqia9]

  ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。
  ONNX Runtime 推理可以实现更快的客户体验和更低的成本，支持PyTorch和TensorFlow/Keras等深度学习框架的模型，以及scikit-learn、LightGBM、XGBoost等经典机器学习库。ONNX运行时与不同的硬件、驱动程序和操作系统兼容，并通过利用硬件加速器（如适用）以及图形优化和转换，提供最佳性能。了解更多信息

  ONNX Runtime 训练可以通过对现有 PyTorch 训练脚本的一行添加来加快 Transformer 模型在多节点 NVIDIA GPU 上的模型训练时间。

  特性：内置优化，可提供高达 17 倍的推理速度和高达 1.4 倍的训练速度，支持多种框架、操作系统和硬件平台，在 Office 365、Visual Studio 和 Bing 中使用，每天提供半万亿次推理，
ONNX Runtime 推理的示例用例包括：提高各种 ML 模型的推理性能，在不同的硬件和操作系统上运行，在 Python 中训练但部署到 C#/C++/Java 应用程序中，使用在不同框架中创建的模型训练和执行推理。