安科网

【DL-3】循环神经网络（RNN）

wenxuegeng

wenxuegeng

2020-04-08

关注 关注

目录

  1. RNN概述
  2. RNN模型
  3. RNN前向传播
  4. RNN反向传播算法
  5. 其它RNN

一、RNN概述

RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。

首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。

常见的序列有：一段连续的语音，一段连续的手写文字，一条句子等。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。

说明：基础的神经网络只在层与层之间建立权连接，RNN最大的不同之处就是在层之间的神经元之间也建立的权连接

二、RNN模型

RNN模型有比较多的变种，这里介绍最主流的RNN模型结构如下：

【DL-3】循环神经网络（RNN）

图中每个箭头代表做一次变换，也就是说箭头连接带有权值。左侧是折叠起来的样子，右侧是展开的形式，左侧中h旁边的箭头代表此结构中的"循环"体现在隐层。右图体现了按照时间展开的情形，也是本文重点关注的对象。

这幅图描述了在序列索引号t 附近RNN的模型。其中：

1）x(t)代表在序列索引号 t 时训练样本的输入。同样的，x(t-1) 和 x(t+1) 代表在序列索引号 t−1 和 t+1 时训练样本的输入。

2）h(t) 代表在序列索引号 t 时模型的隐藏状态。h(t)由x(t)和 h(t-1) 共同决定。

3）o(t) 代表在序列索引号 t 时模型的输出。o(t)只由模型当前的隐藏状态 h(t) 决定。

4）L(t) 代表在序列索引号 t 时模型的损失函数，模型整体的损失函数是所有的L(t)相加和。

5）y(t) 代表在序列索引号 t 时训练样本序列的真实输出。

6）U,W,V这三个矩阵就是我们的模型的线性关系参数，它在整个RNN网络中是共享的。也正是因为是共享的，它体现了RNN的模型的"循环反馈"的思想。

三、RNN前向传播

循环网络的前向传播算法非常简单，对于t时刻：

【DL-3】循环神经网络（RNN）

其中?(.）为激活函数，一般来说会选择tanh函数，b为偏置。则 t 时刻的输出：

【DL-3】循环神经网络（RNN）

最终模型的预测输出为：

【DL-3】循环神经网络（RNN）

其中σ为激活函数，激活函数通常选择softmax函数。

四、RNN反向传播算法

BPTT（back-propagation through time）算法是常用的训练RNN的方法，其实本质还是BP算法，只不过RNN处理时间序列数据，故叫随时间反向传播。BPTT的中心思想和BP算法相同，沿着需要优化的参数的负梯度方向不断寻找更优的点直至收敛。当然这里的BPTT和DNN中的BP算法也有很大的不同点，即这里所有的 U, W, V 在序列的各个位置是共享的，反向传播时我们更新的是相同的参数。

对于RNN，由于我们在序列的每个位置都有损失函数，因此最终的损失L为：

【DL-3】循环神经网络（RNN）

对V求偏导：

【DL-3】循环神经网络（RNN）

而在求W和U的时候就比较的复杂了。在反向传播时，在某一序列位置 t 的梯度损失由当前文职的输出对应的梯度损失和序列索引位置 t + 1 时的梯度损失两部分共同决定的。对于W在某一序列位置 t 的梯度损失需要反向传播一步步的计算。

比如以t=3 时刻为例：

【DL-3】循环神经网络（RNN）

【DL-3】循环神经网络（RNN）

因此，在某个时刻的对 W 或是 U 的偏导数，需要追溯这个时刻之前所有时刻的信息。根据上面的式子可以归纳出 L 在 t 时刻对 W 和 U 偏导数的通式：

【DL-3】循环神经网络（RNN）

【DL-3】循环神经网络（RNN）

而对于里面的乘积部分，我们引入激活函数，则可以表示为：

【DL-3】循环神经网络（RNN）

或者是

【DL-3】循环神经网络（RNN）

然而对于 Sigmoid 函数和 tanh 函数及其导数有以下的特点

sigmoid 函数及其导数

【DL-3】循环神经网络（RNN）

tanh 函数及其导数

【DL-3】循环神经网络（RNN）

我们从中观察到，sigmoid 函数的导数范围是(0, 0.25]， tanh 函数的导数范围是 (0, 1] ，它们的导数最大都不大于 1。因此在上面求梯度的乘积中，随着时间序列的不断深入，小数的累乘就会导致梯度越来越小，直到接近于 0，这就会引起梯度消失现象。梯度消失就意味着那一层的参数再也不更新了，则模型的训练毫无意义。Relu 函数一定程度上可以解决梯度消失的问题，但是容易引起梯度爆炸的问题。此外 tanh 函数的收敛速度要快于 sigmoid 函数，而且梯度消失的速度要慢于 sigmoid 函数。

RNN的特点本来就是能"追根溯源"利用历史数据，现在告诉我可利用的历史数据竟然是有限的，这就令人非常难受，解决"梯度消失"是非常必要的。解决"梯度消失"的方法主要有：

1、选取更好的激活函数

2、改变传播结构

关于第一点，一般选用ReLU函数作为激活函数，ReLU函数的图像为：

【DL-3】循环神经网络（RNN）

ReLU函数的左侧导数为0，右侧导数恒为1，这就避免了"梯度消失"的发生。但恒为1的导数容易导致"梯度爆炸"，但设定合适的阈值可以解决这个问题。还有一点就是如果左侧横为0的导数有可能导致把神经元学死，不过设置合适的步长（学习旅）也可以有效避免这个问题的发生。

关于第二点，LSTM结构可以解决这个问题。下一篇文章进行展开描述。

五、其它RNN

以上是RNN的标准结构，然而在实际中这一种结构并不能解决所有问题，例如我们输入为一串文字，输出为分类类别，那么输出就不需要一个序列，只需要单个输出。如图：

【DL-3】循环神经网络（RNN）

同样的，我们有时候还需要单输入但是输出为序列的情况。那么就可以使用如下结构：

【DL-3】循环神经网络（RNN）

更多其他类型：https://blog.csdn.net/qq_16234613/article/details/79476763

主要参考：

https://blog.csdn.net/zhaojc1995/article/details/80572098

https://www.cnblogs.com/pinard/p/6509630.html#!comments

附件一：手写推导

【DL-3】循环神经网络（RNN）

rnn 神经网络模型 循环神经网络

wenxuegeng

wenxuegeng

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

浅谈CNN和RNN

在上一篇文稿中主要对深度学习的基础做了一个阐述，对于其中的神经网络和BP算法进行额外的延伸与拓展。但作为日前最为火热的人工智能技术，掌握这些内容远远还不够。因为深度学习面临的实际问题往往不是线性可分的问题，有时甚至超出了分类的问题，这就必须对深度学习模型加

Site 2020-08-20

深度学习面试题32：循环神经网络原理(RNN)

RNN 的英文全称是 Recurrent Neural Networks ，即循环神经网络，他是一种对序列型数据进行建模的深度模型。在学习之前，先来复习基本的单层神经网络。单层网络的输入是向量x，经过Wx+b和激活函数f得到输出y。自然语言处理问题中，x1

hnyzyty 2020-07-05

RNN循环神经网络学习——概述

　　循环神经网络的主要用途是处理和预测序列数据。循环神经网络最初就是为了刻画一个序列当前的输出与之前信息的关系。也就是说，循环神经网络的隐藏层之间的节点是有连接的，隐藏层的输入不仅包含输入层的输出，还包括上一时刻隐藏层的输出。RNN当前的状态是由上一时刻的

cherry0 2019-12-01

序列模型简介——RNN, Bidirectional RNN, LSTM, GRU

这些模型的问题在于，当给定一系列的数据时，它们表现的性能很差。序列数据的一个例子是音频的剪辑，其中包含一系列的人说过的话。前馈网络和CNN采用一个固定长度作为输入，但是，当你看这些句子的时候，并非所有的句子都有相同的长度。这就是序列模型和前馈模型的主要区别

aaJamesJones 2019-06-30

（一）线性循环神经网络（RNN）

该教程将介绍如何实现一个循环神经网络，一共包含两部分。你可以在以下链接找到完整内容。（一）线性循环神经网络（二）非线性循环神经网络这篇教程中的代码是由 Python 2 IPython Notebook产生的，在教程的最后，我会给出全部代码的链接，帮助学习

格式化中 2019-06-26

艺术家如何应用RNN（循环神经网络）创作AI化的艺术作品

文章导读：这篇文章不是为了全面深入的介绍循环神经网络，而是为那些没有任何机器学习背景知识的读者提供一种思路，意在展示艺术家和设计师运用简单的Javascript和p5.js库构造预训练神经网络、进而创作出交互式数字作品的过程。近年来，对于那些富有创造性的群

RitterLiu 2017-01-10

万字长文概述NLP中的深度学习技术之循环神经网络

循环神经网络的思路是处理序列信息。「循环」表示 RNN 模型对序列中的每一个实例都执行同样的任务，从而使输出依赖于之前的计算和结果。通常，RNN 通过将 token 挨个输入到循环单元中，来生成表示序列的固定大小向量。一定程度上，RNN 对之前的计算有「记

liqing 2019-02-28

入门｜一文简述循环神经网络

选自Hackernoon，作者：Debarko De，机器之心编译，参与：李诗萌、路。本文简要介绍了什么是循环神经网络及其运行原理，并给出了一个 RNN 实现示例。本文试图回答上述这些问题，还展示了一个 RNN 实现 demo，你可以根据自己的需要进行扩展

xdq0 2018-07-22

新型循环神经网络IndRNN：可构建更长更深的RNN

循环神经网络 [16] 已在动作识别 [8]、场景标注 [4] 、语言处理 [5] 等序列学习问题中获得广泛应用，并且成果显著。与卷积神经网络 等前馈网络相比，RNN 具有循环连接，其中最后的隐藏状态是到下一状态的输入。状态更新可描述如下：。分别为当前

hexianhao 2018-03-20

CNN、RNN、GAN都是什么？终于有人讲明白了

全连接、密集和线性网络是最基本但功能强大的架构。这是机器学习的直接扩展，将神经网络与单个隐藏层结合使用。全连接层充当所有架构的最后一部分，用于获得使用下方深度网络所得分数的概率分布。编码器和解码器可能是深度学习另一个最基本的架构之一。一个句子将被编码为中间

zhangsh00 2020-07-23

RNN 梯度消失/爆炸问题的解决方法

为了解决梯度爆炸的问题，Thomas Mikolov首先引入了一个简单的启发式解决方案，当梯度爆炸时，将梯度裁剪为一个小数值。也就是说，当它们达到某个阈值时，就会被重新设置为一个小数值.那梯度消失/爆炸问题仅是RNN才会出现的问题吗？　　　　2、靠近输入层

liqing 2020-05-26

吴恩达《深度学习》第五门课（1）循环序列模型（RNN）

序列模型广泛应用于语音识别，音乐生成，情感分析，DNA序列分析，机器翻译，视频行为识别，命名实体识别等众多领域。单词是无法直接输入到网络中，所以必须转成数子，用数字来表示单词。方法是将数据集中出现次数最多的10000个单词，然后用one-hot来表示每一个

dxmkkk 2020-05-17

抽象理解切片递归神经网络(SRNN)的结构

过年这几天只能待家里了，最近几个月，上海交通大学的研究人员提出了切片递归神经网络的结构，该结构在不改变循环单元的情况下比RNN结构快135倍。　　在论文《Sliced Recurrent Neural Networks》中，研究者给出了具体的介绍。　　在R

wenxuegeng 2020-01-26

浅谈Tensorflow 动态双向RNN的输出问题

# 决定了输入输出tensor的格式：如果为true, 向量的形状必须为 `[max_time, batch_size, depth]`.# 如果为false, tensor的形状必须为`[batch_size, max_time, depth]`.out

guadingtao 2020-01-20

tensorflow python api

training: Optimizer的各种算法 、学习率衰退、basic_train_loop、session、checkpoint、处理导数和梯度、队列、分布式执行。tf.contrib.crf CRF layer 条件随机场。tf.contrib.l

沃夏澈德 2017-09-01

机器学习实验笔记

实验1 --- 基于 RNN 的 MNIST 手写字符识别实验工作流预处理 --- 卷积 --- 池化 --- 卷积 --- 池化 --- 全连接层 --- softmax --- 输出。根据参考资料, 这样做的效果之一是增加特征的鲁棒性，减小过拟合。池化

yangzzguang 2019-07-01

GIF动画解析RNN，LSTM，GRU

循环神经网络是一类常用在序列数据上的人工神经网络。现在可以查到许多解释循环神经网络这一概念的图示。Michael 的精彩动画也给了我很大的启发，从中受益匪浅。*length of X—size/dimension of inputX的长度表示输入的大小，尺

诗蕊 2019-06-30

如何深度理解RNN？——看图就好！

我是迈克尔，也被称为LearnedVector，我是AI语音领域的机器学习工程师。如果你使用智能手机或经常上网，那么你会经常使用RNN的应用程序。我将避免讲它背后的数学知识，而专注于RNN背后的真实的含义。通过阅读这篇文章，你应该对RNN有一个很好的理解。

yuzhou 2019-06-28

机器学习研究人员需要了解的8个神经网络架构（下）

为了理解RNN，我们需要对序列建模进行简要概述。但是，RNN的计算能力使得它们很难训练。由于梯度问题的爆发或消失，训练RNN相当困难。长期的短期记忆：将RNN用于长期记忆值的小模块。

WisdomXLH 2019-06-27

从RNN到LSTM，性能良好的神经网络到底是如何工作的？

摘要： 在2016年Google率先发布上线了机器翻译系统后，神经网络表现出的优异性能让人工智能专家趋之若鹜。本文将借助多个案例，来带领大家一同探究RNN和以LSTM为首的各类变种算法背后的工作原理。t时刻的状态ht，是由前一时刻的状态ht-1与Whh做矩

kinghighbury 2019-06-27
wenxuegeng

wenxuegeng

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号