深度学习模型部署框架 GraphPipe

GraphPipe 详细介绍

GraphPipe 是甲骨文开源的通用深度学习模型部署框架。官方对 GraphPipe 的定义为，这是一种协议和软件集合，旨在简化机器学习模型部署并将其与特定于框架的模型实现分离。

甲骨文表示，这一新工具可提供跨深度学习框架的模型通用 API、开箱即用的部署方案以及强大的性能。

GraphPipe 为在网络上传递张量数据(tensor data)提供了一个标准、高性能的协议，以及提供了客户端和服务器的简单实现，因而使得从任何框架部署和查询机器学习模型变得轻而易举。GraphPipe 的高性能服务器支持 TensorFlow、PyTorch、MXNet、CNTK 和 Caffe2。

GraphPipe 包括

• 一组 flatbuffer 定义
• 根据 flatbuffer 定义一致的模型的指南
• 来自各种机器学习框架的模型的示例
• 用于通过 GraphPipe 查询模型的客户端库

GraphPipe 功能特性

• 基于 flatbuffers 的极简机器学习传输规范
• 适用于 Tensorflow，Caffe2 和 ONNX 的简单高效参考模型服务器(reference model servers)
• Go，Python 和 Java 的高效客户端实现

使用这些工具，企业应该可跨多个服务器进行模型的部署，或者使用通用协议从不同的框架创建模型集合。GraphPipe 可以帮助为依赖远程运行模型的物联网应用程序部署机器学习。