TensorFlow保存、加载模型参数 | 原理描述及踩坑经验总结

写在前面

我之前使用的LSTM计算单元是根据其前向传播的计算公式手动实现的，这两天想要和TensorFlow自带的tf.nn.rnn_cell.BasicLSTMCell()比较一下，看看哪个训练速度快一些。在使用tf.nn.rnn_cell.BasicLSTMCell()进行建模的时候，遇到了模型保存、加载的问题。

查找了一些博主的经验，再加上自己摸索，在这里做个笔记，总结经验。其中关键要素有以下3点：

1.需要保存哪些变量(tensor)，就要给哪些变量取名字(即name=‘XXXXX‘)。

2.将tf.train.Saver()与需要保存的变量(tensor)定义在一个函数里，否则保存会出错。

3.加载模型的时候，先加载图，再加载变量(tensor)。

下面通过实例进行描述。

模型保存

tf.train.Saver()可以自动保存变量和计算图。

保存前注意！！！需要对要保存的变量命名，即属性中的name=XXX

下面是使用tf.nn.rnn_cell.BasicLSTMCell()自建的一个LSTM_Cel

class LSTM_Cell(object):
# train_data 格式示例，batch_size*num_steps*input_dim   批大小*时间窗口长度*单时间节点输入维度
# train_label格式示例，batch_size*1  # TODO 该模型紧输出一维结果。
# input_dim 格式 int, 输入数据在单时间节点上的维度
# num_nodes 神经元数目/维度
    def __init__(self, train_data, train_label, input_dim, batch_size=10, num_nodes=64):
        tf.reset_default_graph()
        self.num_nodes = num_nodes
        self.input_dim = input_dim
        self.train_data = train_data
        self.train_label = train_label
        self.batch_size = batch_size
        gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.666)
        self.sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

    def loss_func(self,lr=0.001):
        self.w = tf.Variable(tf.truncated_normal([self.num_nodes, 1], -0.1, 0.1),name=‘w‘)   # 1 是指输出维度，这里预测一个值，因此维度是1
        self.b = tf.Variable(tf.zeros([1]),name=‘b‘)
        self.batch_in = tf.placeholder(tf.float32, [None, self.train_data.shape[1], self.input_dim],name=‘batch_in‘)
        self.batch_out = tf.placeholder(tf.float32, [None, 1],name=‘batch_out‘)
        lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(self.num_nodes,forget_bias=1.0,state_is_tuple=True)
        # init_state = lstm_cell.zero_state(self.batch_in[0],dtype=tf.float32)
        output, final_state = tf.nn.dynamic_rnn(lstm_cell, self.batch_in, time_major=False, dtype=tf.float32)  # initial_state=init_state,
        self.y_pre = tf.nn.sigmoid(tf.matmul(final_state[1], self.w) + self.b,name="y_pre")
        self.mse = tf.sqrt(tf.reduce_mean(tf.square(self.y_pre-self.batch_out)),name=‘mse‘)
        self.cross_entropy = -tf.reduce_mean(self.batch_out * tf.log(self.y_pre),name=‘cross_entropy‘)
        self.train_op = tf.train.GradientDescentOptimizer(lr).minimize(self.mse)
        self.saver = tf.train.Saver()

    def train_model(self,savepath,epochs=1000):
        self.sess.run(tf.global_variables_initializer())
        for i in range(epochs):
            for j in range(int(len(self.train_data)/self.batch_size)):
                batch_i = self.train_data[j*self.batch_size:(j+1)*self.batch_size]
                batch_o = self.train_label[j*self.batch_size:(j+1)*self.batch_size]
                self.sess.run(self.train_op, feed_dict={self.batch_in:batch_i, 37                         self.batch_out:batch_o.reshape(self.batch_size,1)})
            if (i+1)%200==0:
                print(‘epoch:%d‘%(i+1),self.sess.run(self.mse,feed_dict={self.batch_in:batch_i, 40                     self.batch_out:batch_o.reshape(self.batch_size,1)}))
        save_path = self.saver.save(self.sess, savepath)
        print("模型保存于: ", save_path)

在LSTM_Cell类中，构造函数定义了一些固定参数以及TensorFlow会话(tf.Session())，而我们所要保存的变量(tensor)都在loss_func()函数中定义。包括：

①最后一个全连接层的w和b；

②输入、输出变量的占位符batch_in，batch_out；

③LSTM单元的计算过程；

④计算最终计算结果y_pre，均方根误差mse，交叉熵计算结果cross_entropy，使用随机梯度下降的训练步骤train_op；

⑤存储器tf.train.Saver()。

在本例中，只有变量’w’, ’b’, ’batch_in’, ’batch_out’, ’y_pre’, ’mse’, ’cross_entropy’在属性中有过命名，会被保存下来。

这里，tf.train.Saver()只能保存本函数(即loss_func)中定义的变量(tensor)。

train_model()函数实现训练过程，并调用self.saver.save(self.sess, savepath)来对模型及命名了的变量(tensor)进行保存。

下面是调用LSTM_Cell类进行训练并保存模型的代码：

# 初始化LSTM类
lstm_obj = LSTM_Cell(sample_input,sample_output,input_dim=1,batch_size=_batch_size,num_nodes=hidden_size)
lstm_obj.loss_func(lr)  # 构建计算图
# TODO 训练
lstm_obj.train_model(savepath=saved_path,epochs=epochs)

其中，保存路径为

1 saved_path = "./standard_LSTM/models/Basic_LSTM_TF_models/59model.ckpt"

最终得到的保存结果为下方4个文件（暂时无视两个png图片）

 .meta文档是计算图保存的位置，.data是参数数据，后面的00000-of-00001是模型的版本号。

模型加载

加载困扰了我很久，后面经过摸索才知道有两个关键部分，一个是计算图的加载，一个是变量的加载，两者缺一不可。

LSTM_Cell类中，加载函数(load_model)定义如下。

def load_model(self,savepath):
        len_last = len(savepath.split(‘/‘)[-1])
        self.saver = tf.train.import_meta_graph(savepath+‘.meta‘)
        self.saver.restore(self.sess,tf.train.latest_checkpoint(savepath[:-len_last]))  # 加载最后一个模型
        self.graph = tf.get_default_graph()
        tensor_name_list = [tensor.name for tensor in self.graph.as_graph_def().node]
        self.w = self.graph.get_tensor_by_name(‘w:0‘)
        self.b = self.graph.get_tensor_by_name(‘b:0‘)
        self.batch_in = self.graph.get_tensor_by_name("batch_in:0")  
        self.batch_out = self.graph.get_tensor_by_name("batch_out:0")
        self.y_pre = self.graph.get_tensor_by_name(‘y_pre:0‘)
        self.mse = self.graph.get_tensor_by_name(‘mse:0‘) 
        self.cross_entropy = self.graph.get_tensor_by_name(‘cross_entropy:0‘)

首先定义一个self.saver，来辅助加载图及变量。

第一步加载图，即tf.train.import_meta_graph(savepath+‘.meta‘)，就是加载上图中的 59model.ckpt.meta

saver.restore()函数将模型参数进行加载，savepath[:-len_last]是指保存模型的文件夹路径，即"./standard_LSTM/models/Basic_LSTM_TF_models/" ，将模型加载到默认的计算图中(default_graph)。

此时，各变量（即tensor）已经在计算图中了，但要正常调用，还需要从图中取出并将其设置成变量。

具体方法是先取得默认的计算图self.graph，再通过get_tensor_by_name()方法将tensor实例化，每个tensor的名称与模型保存时name=”XXX”的名称相同，并且后方需要加上:<index>，不重名的情况下这个index一般是0。

也有博主说tensor的名称可以在tensor_name_list中查看到，但我打印出来后发现这个list太长，不大实用。

这时候就加载模型完毕了，可以调用self.sess对self.y_pre、self.mse进行计算。

示例计算如下：

1     def predict_next_one(self,batch_i):  # batch_i长度 为样本时间序列长度
2         temp = self.sess.run(self.y_pre,feed_dict={self.batch_in:batch_i.reshape(1,len(batch_i),1)})
3         return temp[0][0]

外部的调用方法如下，（构造函数后就不用使用loss_func构建计算过程了，直接加载模型就行。）

# 初始化LSTM类
lstm_obj = LSTM_Cell(sample_input,sample_output,input_dim=1,batch_size=_batch_size,num_nodes=hidden_size)
# TODO 加载模型
lstm_obj.load_model(savepath=saved_path)

下面两个图是训练完后直接预测以及加载模型再预测的结果，可以看出模型加载后，计算结果与之前一致。