Tensorflow Serving是将机器学习模型引入生产的最明显和最好的解决方案。带来的好处包括:

• 一个预先构建的rest api，速度非常快，由谷歌支持
• 不同模型和模型版本的源代码控制和访问
• 在所有平台上服务模型的标准化方法。

但是，因为它是新的，所以缺少了很多东西，比如文档和对其他流行库(如keras)的文档支持。Keras与服务于Tensorflow完全兼容，唯一的挑战是保存模型，使服务于Tensorflow的方式能够使用它。

因此，为了简单起见，我选择使用keras来训练一个简单的模型，并将其导出为适合于Tensorflow服务的格式。

XOR预测例子

1、下载代码

首先克隆Repo以获取代码

git clone https://github.com/brianalois/xor_keras_tensorflow_serving.git

确保您的环境是在github页面上要求的环境，readme有说明。

2、代码

导入你的依赖关系! !

import tensorflow as tf

from keras import backend as K

from tensorflow.python.saved_model import builder as saved_model_builder

from tensorflow.python.saved_model import tag_constants, signature_constants, signature_def_utils_impl

from keras.models import Sequential

from keras.layers.core import Dense, Dropout, Activation

from keras.optimizers import SGD

import numpy as np

设置Tensorflow会话

sess = tf.Session()

K.set_session(sess)

K.set_learning_phase(0)

设置变量

模型版本:将更改导出的模型目录的名称

epoch:训练周期数越多，时间越长。5000是个不错的数字，但可能需要一些时间来训练。100适合快速测试。

model_version = "2"

epoch = 100

加载数据

这就是我选择XOR示例的原因，因为数据非常容易获取

X = np.array([

[0,0],

[0,1],

[1,0],

[1,1]

])

Y = np.array([[0],[1],[1],[0]])

建立模型

model = Sequential()

model.add(Dense(8, input_dim=2))

model.add(Activation('tanh'))

model.add(Dense(1))

model.add(Activation('sigmoid'))

sgd = SGD(lr=0.1)

编译和拟合模型

model.compile(loss='binary_crossentropy', optimizer=sgd)

model.fit(X, Y, batch_size=1, nb_epoch=epoch)

获取 Tensorflow Serving输入和输出变量

x = model.input

y = model.output

prediction_signature = tf.saved_model.signature_def_utils.predict_signature_def({"inputs": x}, {"prediction":y})

测试tf serving 的预测签名是否有效

valid_prediction_signature = tf.saved_model.signature_def_utils.is_valid_signature(prediction_signature)

if(valid_prediction_signature == False):

raise ValueError("Error: Prediction signature not valid!")

构建和配置模型

builder = saved_model_builder.SavedModelBuilder('./'+model_version)

legacy_init_op = tf.group(tf.tables_initializer(), name='legacy_init_op')

builder.add_meta_graph_and_variables(

sess, [tag_constants.SERVING],

signature_def_map={

signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY:prediction_signature,

},

legacy_init_op=legacy_init_op)

保存模型

builder.save（）

这里非常简单，现在应该可以看到目录中有一个文件夹，它的名称是2。

注意:

对于那些熟悉Tensorflow服务的人，有预测、分类和回归操作。对于每个模型，都需要以特定的方式保存模型。预测是最容易理解的，这也是我开始它的原因。但是，分类和回归很难找到如何使用keras的方法。