使用Tensorflow建立RNN实战：股市预测
摘要： 本篇文章主要介绍如何使用Tensorflow建立循环神经网络来预测股票市场价格。文中有完整代码！
完整的工作代码可在github.com/lilianweng/stock-rnn找到。如果你不知道什么是循环神经网络（RNN）或长短期记忆网络（LSTM）单元，可以翻阅作者之前的文章，或者查看云栖翻译小组其他文章
互联网上也有很多类似教程，比如：
·使用Tensorflow实现RNN-LSTM的noob指南
·TensorFlow RNN教程
·LSTM通过使用Tensorflow的示例
·如何在TensorFlow中构建RNN
·Tensorflow中的RNN，实用指南和未记载的特征
·使用循环神经网络（LSTM）和TensorFlow进行序列预测
·任何人都可以学习在Python中编写LSTM-RNN
·如何使用RNN，TensorFlow和Cloud ML Engine进行时间序列预测
但是作者仍然坚持写出这篇文章主要有三个原因：
1.技术在发展，早期的教程不能应付新版本。
2.大多数教程使用的事例是合成数据，而作者在这该文中所用事例数据皆来源于现实生活。
3.有些教程如果你事先了解关于Tensorflow API的一些信息，这将使得在理解它们时存在困难。
文中，作者以宾夕法尼亚大学（Penn Tree Bank，PTB）数据集上的官方例子为起点。虽然PTB示例以漂亮的模块化设计模式展示RNN模型，但在理解模型结构中会有些难度，为此，作者建立了易于理解的图表。
数据准备：
股票价格是长度为N的时间序列，定义为p0，p1，... ，pN- 1，其中pi是指在第i日的收盘价，0≤i<N。试想一下，我们有一个固定大小的滑动窗口w（下文将其称为input_size），为了保障所有的滑动窗口中的数据之间不重叠，我们需要每次将窗口向右移动w个单位。
上图为标准普尔500价格。我们在一个滑动窗口中使用内容来预测下一个，而在两个连续的窗口之间没有重叠。
将建立的RNN模型中LSTM单元作为基本的隐藏单元。我们使用在时间t内从第一个滑动窗口W0到窗口Wt的值：
W0=(p0,p1,...,pw-1)
W1=(pw,pw+1,...p2w-1)
...
Wt=(ptw,ptw+1,...,p(t+1)w-1)
来预测下一个窗口Wt+1的值：
Wt+1=(p(t+1)w,p(t+1)w+1,...,p(t+2)w-1)
以上类似于在学习一个近似函数f（W0，W1，... ，Wt）≈Wt+1。
考虑到反向传播（BPTT）的工作方式的，我们通常将RNN训练成一个“展开”版本，这样我们就不需要做太多的传播计算，而且可以节省训练的复杂性。
价格的顺序首先被分成不重叠的小窗口。每个都包含input_size数字，每个都被认为是一个独立的输入元素。然后，任何num_steps连续的输入元素被分组到一个训练输入中，形成一个在Tensorfow上进行训练的“非滚动”版本的RNN。相应的标签就是它们后面的输入元素。
例如，如果input_size=3和num_steps=2，前几个训练的示例如下所示：
准备数据的完整代码在这里。
数据标准化
以下我们以最新的10%的数据作为测试数据。S&P500指数随着时间的推移而增加，导致测试集中大部分数值超出训练集的范围，也就是说该模型必须预测一些以前从未见过的数字。
图： RNN模型必须预测训练数据的规模之外的数字
为解决这一问题，作者将任务变成预测相对变化率而不是绝对值。在t时刻的标准化滑动窗口W't中，所有的值除以最后一个滑动窗口Wt-1中的未知价格价格：
建立模型：
定义参数：
lstm_size：一个LSTM图层中的单元数量。
num_layers：堆叠的LSTM层的数量。
keep_prob：单元格单元在退出操作中保留的百分比。
init_learning_rate：开始学习的速率。
learning_rate_decay：后期训练时期的衰减率。
init_epoch：使用常量init_learning_rate的时期数。
max_epoch：训练中的时期总数
input_size：滑动窗口的大小/一个训练数据点
batch_size：在一个小批量中使用的数据点的数量。
LSTM模型是具有num_layers堆叠的LSTM层，每层包含lstm_size数量的LSTM单元。然后将保留概率为keep_prob的退出掩码应用于每个LSTM单元的输出。退出的目标是消除潜在的强烈具有依赖性维度，以防止过度拟合。
训练总共需要max_epoch 时期（epoch）；一个时期（epoch）指所有训练数据点的一个完整通过。在一个时期（epoch）中，训练数据点被分成小批量batch_size的规模。我们发送一小批量的到一个BPTT学习的模型。学习速率在第一个init_epoch时期被设置为init_learning_rate，然后在每个后续时期learning_rate_decay使学习速率衰减。
# Configuration is wrapped in one object for easy tracking and passing.class RNNConfig(): input_size=1 num_steps=30 lstm_size=128 num_layers=1 keep_prob=0.8 batch_size = 64 init_learning_rate = 0.001 learning_rate_decay = 0.99 init_epoch = 5 max_epoch = 50 config = RNNConfig()
定义图形
tf.Graph没有依附于任何真实的数据。它主要用于处理数据和运行计算流程。如果用tf.session提供的数据，这时计算的数据是真实的。
（1）首先初始化一个新的图表。
import tensorflow as tf tf.reset_default_graph()lstm_graph = tf.Graph()
（2）图表的工作原理应在其范围内定义。
with lstm_graph.as_default():
（3）定义计算所需的数据。在这里需要三个输入变量，全部定义为tf.placeholder。
1.inputs：训练数据X，形状张量（＃数据例子num_steps，input_size）; 数据示例的数量是未知的，所以是None。就这个示例而言，在训练中它将是batch_size。如果感到困惑，请查看输入格式示例。
2.targets：训练标签y，形状张量（＃数据例子input_size）。
3.learning_rate：一个简单的浮点数。
# Dimension = ( # number of data examples, # number of input in one computation step, # number of numbers in one input # ) # We don't know the number of examples beforehand, so it is None. inputs = tf.placeholder(tf.float32, [None, config.num_steps, config.input_size]) targets = tf.placeholder(tf.float32, [None, config.input_size]) learning_rate = tf.placeholder(tf.float32, None)
（4）该函数返回一个LSTMCell有无退出操作。
def _create_one_cell(): return tf.contrib.rnn.LSTMCell(config.lstm_size,state_is_tuple=True) if config.keep_prob < 1.0: return tf.contrib.rnn.DropoutWrapper(lstm_cell, output_keep_prob=config.keep_prob)
（5）如果需要的话，我们可以将单元格堆叠成多层。MultiRNNCell有助于依次连接多个简单单元来组成一个单元。
cell = tf.contrib.rnn.MultiRNNCell( [_create_one_cell() for _ in range(config.num_layers)], state_is_tuple=True ) if config.num_layers > 1 else _create_one_cell()
（6）tf.nn.dynamic_rnn是由cell（RNNCell）指定的循环神经网络构建的。状态是指LSTM单元的当前状态，在这里没有消耗。
val, _ = tf.nn.dynamic_rnn(cell, inputs, dtype=tf.float32)
（7）tf.transpose输出的维度从（batch_size，num_steps，lstm_size）转换为（num_steps，batch_size，lstm_size），然后将其输出。
# Before transpose, val.get_shape() = (batch_size, num_steps, lstm_size) # After transpose, val.get_shape() = (num_steps, batch_size, lstm_size) val = tf.transpose(val, [1, 0, 2]) # last.get_shape() = (batch_size, lstm_size) last = tf.gather(val, int(val.get_shape()[0]) - 1, name="last_lstm_output")
（8）定义隐藏层和输出层之间的权重和偏差。
weight = tf.Variable(tf.truncated_normal([config.lstm_size, config.input_size])) bias = tf.Variable(tf.constant(0.1, shape=[targets_width])) prediction = tf.matmul(last, weight) + bias
（9）我们使用均方误差作为损失度量和RMSPropOptimizer算法进行梯度下降优化。
loss = tf.reduce_mean(tf.square(prediction - targets)) optimizer = tf.train.RMSPropOptimizer(learning_rate) minimize = optimizer.minimize(loss)
训练阶段
（1）要开始用真实数据训练图表，我们需要先从一个tf.session开始。
with tf.Session(graph=lstm_graph) as sess:
（2）按照定义初始化变量。
tf.global_variables_initializer().run()
（3）训练时期的学习率应该预先计算好。指数是指epoch指数。
learning_rates_to_use = [ config.init_learning_rate * ( config.learning_rate_decay ** max(float(i + 1 - config.init_epoch), 0.0) ) for i in range(config.max_epoch)]
（4）下面的每个循环完成一次epoch训练。
for epoch_step in range(config.max_epoch):
current_lr = learning_rates_to_use[epoch_step]
# Check https://github.com/lilianweng/stock-rnn/blob/master/data_wrapper.py
# if you are curious to know what is StockDataSet and how generate_one_epoch()
# is implemented.
for batch_X,batch_y in stock_dataset.generate_one_epoch(config.batch_size):
train_data_feed = {
inputs: batch_X,
targets: batch_y,
learning_rate: current_lr
}
train_loss, _ = sess.run([loss, minimize], train_data_feed)（5）下面的每个循环完成一次epoch训练。
saver = tf.train.Saver() saver.save(sess, "your_awesome_model_path_and_name", global_step=max_epoch_step)
使用TensorBoard
在没有可视化的情况下构建图形，非常模糊和容易出错。Tensorboard提供的图形结构和学习过程简单可视，查看这个实践教程。
小结
1.用于with [tf.name_scope]
(https://www.tensorflow.org/api_docs/python/tf/name_scope)("your_awesome_module_name"):将包含在类似目标上的元素一起打包。
2.许多tf.*方法接受name=参数。分配一个定制的名字可以让你阅读图表时更容易。
3.类似tf.summary.scalar和tf.summary.histogram的方法可以帮助跟踪迭代期间图中变量的值。
4.在训练课程中，用tf.summary.FileWriter定义一个日志文件：
with tf.Session(graph=lstm_graph) as sess:
merged_summary = tf.summary.merge_all()
writer = tf.summary.FileWriter("location_for_keeping_your_log_files", sess.graph)
writer.add_graph(sess.graph)之后，将训练进度和总结结果写入文件。
_summary = sess.run([merged_summary], test_data_feed)writer.add_summary(_summary, global_step=epoch_step) # epoch_step in range(config.max_epoch)
上图由示例代码构建的RNN图。“训练”模块已经“从主图表中删除”，因为它在预测时间内不是模型的实际部分。
单击“output_layer”模块将其展开并详细检查结构。
完整的工作代码可在github.com/lilianweng/stock-rnn中找到。
结果
作者在示例中使用了以下配置。
num_layers=1
keep_prob=0.8
batch_size = 64
init_learning_rate = 0.001
learning_rate_decay = 0.99
init_epoch = 5
max_epoch = 100
num_steps=30
上图是在测试数据中最近200天的预测结果。使用input_size = 1和lstm_size = 32来训练模型。
上图是在测试数据中最近200天的预测结果。模型使用input_size = 1和lstm_size = 128进行训练。
上图在测试数据中的最近200天的预测结果。使用input_size = 5，lstm_size = 128和max_epoch = 75（替代50）训练模型。
如果您想进一步了解本教程中的示例代码可在github.com/lilianweng/stock-rnn:scripts中找到。