深度学习模型部署框架GraphPipe

[nvkuanghan8]

GraphPipe 是甲骨文开源的通用深度学习模型部署框架。官方对 GraphPipe 的定义为，这是一种协议和软件集合，旨在简化机器学习模型部署并将其与特定于框架的模型实现分离。

甲骨文表示，这一新工具可提供跨深度学习框架的模型通用 API、开箱即用的部署方案以及强大的性能。

GraphPipe 为在网络上传递张量数据(tensor data)提供了一个标准、高性能的协议，以及提供了客户端和服务器的简单实现，因而使得从任何框架部署和查询机器学习模型变得轻而易举。GraphPipe 的高性能服务器支持 TensorFlow、PyTorch、MXNet、CNTK 和 Caffe2。

GraphPipe 功能特性：基于 flatbuffers 的极简机器学习传输规范；适用于 Tensorflow，Caffe2 和 ONNX 的简单高效参考模型服务器(reference model servers)；Go，Python 和 Java 的高效客户端实现

项目地址： https://github.com/oracle/graphpipe