在上一篇文稿中主要对深度学习的基础做了一个阐述，对于其中的神经网络和BP算法进行额外的延伸与拓展。但作为日前最为火热的人工智能技术，掌握这些内容远远还不够。因为深度学习面临的实际问题往往不是线性可分的问题，有时甚至超出了分类的问题，这就必须对深度学习模型加

全连接、密集和线性网络是最基本但功能强大的架构。这是机器学习的直接扩展，将神经网络与单个隐藏层结合使用。全连接层充当所有架构的最后一部分，用于获得使用下方深度网络所得分数的概率分布。编码器和解码器可能是深度学习另一个最基本的架构之一。一个句子将被编码为中间

RNN 的英文全称是 Recurrent Neural Networks ，即循环神经网络，他是一种对序列型数据进行建模的深度模型。在学习之前，先来复习基本的单层神经网络。单层网络的输入是向量x，经过Wx+b和激活函数f得到输出y。自然语言处理问题中，x1

为了解决梯度爆炸的问题，Thomas Mikolov首先引入了一个简单的启发式解决方案，当梯度爆炸时，将梯度裁剪为一个小数值。也就是说，当它们达到某个阈值时，就会被重新设置为一个小数值.那梯度消失/爆炸问题仅是RNN才会出现的问题吗？　　　　2、靠近输入层

序列模型广泛应用于语音识别，音乐生成，情感分析，DNA序列分析，机器翻译，视频行为识别，命名实体识别等众多领域。单词是无法直接输入到网络中，所以必须转成数子，用数字来表示单词。方法是将数据集中出现次数最多的10000个单词，然后用one-hot来表示每一个

RNN是一类用于处理序列数据的神经网络。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。这幅图描述了在序列索引号t附近RNN的模型。1）x代表在序列索引号t时训练样本的输入。

过年这几天只能待家里了，最近几个月，上海交通大学的研究人员提出了切片递归神经网络的结构，该结构在不改变循环单元的情况下比RNN结构快135倍。　　在论文《Sliced Recurrent Neural Networks》中，研究者给出了具体的介绍。　　在R

# 决定了输入输出tensor的格式：如果为true, 向量的形状必须为 `[max_time, batch_size, depth]`.# 如果为false, tensor的形状必须为`[batch_size, max_time, depth]`.out

　　循环神经网络的主要用途是处理和预测序列数据。循环神经网络最初就是为了刻画一个序列当前的输出与之前信息的关系。也就是说，循环神经网络的隐藏层之间的节点是有连接的，隐藏层的输入不仅包含输入层的输出，还包括上一时刻隐藏层的输出。RNN当前的状态是由上一时刻的

training: Optimizer的各种算法 、学习率衰退、basic_train_loop、session、checkpoint、处理导数和梯度、队列、分布式执行。tf.contrib.crf CRF layer 条件随机场。tf.contrib.l

实验1 --- 基于 RNN 的 MNIST 手写字符识别实验工作流预处理 --- 卷积 --- 池化 --- 卷积 --- 池化 --- 全连接层 --- softmax --- 输出。根据参考资料, 这样做的效果之一是增加特征的鲁棒性，减小过拟合。池化

这些模型的问题在于，当给定一系列的数据时，它们表现的性能很差。序列数据的一个例子是音频的剪辑，其中包含一系列的人说过的话。前馈网络和CNN采用一个固定长度作为输入，但是，当你看这些句子的时候，并非所有的句子都有相同的长度。这就是序列模型和前馈模型的主要区别

循环神经网络是一类常用在序列数据上的人工神经网络。现在可以查到许多解释循环神经网络这一概念的图示。Michael 的精彩动画也给了我很大的启发，从中受益匪浅。*length of X—size/dimension of inputX的长度表示输入的大小，尺

我是迈克尔，也被称为LearnedVector，我是AI语音领域的机器学习工程师。如果你使用智能手机或经常上网，那么你会经常使用RNN的应用程序。我将避免讲它背后的数学知识，而专注于RNN背后的真实的含义。通过阅读这篇文章，你应该对RNN有一个很好的理解。

为了理解RNN，我们需要对序列建模进行简要概述。但是，RNN的计算能力使得它们很难训练。由于梯度问题的爆发或消失，训练RNN相当困难。长期的短期记忆：将RNN用于长期记忆值的小模块。

摘要： 在2016年Google率先发布上线了机器翻译系统后，神经网络表现出的优异性能让人工智能专家趋之若鹜。本文将借助多个案例，来带领大家一同探究RNN和以LSTM为首的各类变种算法背后的工作原理。t时刻的状态ht，是由前一时刻的状态ht-1与Whh做矩

递归神经网络可存储记忆神经网络，LSTM是其中一种，在NLP领域应用效果不错。递归神经网络，时间递归神经网络，结构递归神经网络。两者训练属同一算法变体。RNN引入定向循环，神经元为节点组成有向环，可表达前后关联关系。RNN关键是隐藏层，隐藏层捕捉序列信息，

该教程将介绍如何实现一个循环神经网络，一共包含两部分。你可以在以下链接找到完整内容。（一）线性循环神经网络（二）非线性循环神经网络这篇教程中的代码是由 Python 2 IPython Notebook产生的，在教程的最后，我会给出全部代码的链接，帮助学习

outputs, states = rnn.rnn(lstm_cell, x, dtype=tf.float32)

ICLR 2019过去有几天了，作为今年上半年表现最为亮眼的人工智能顶会共收到1591篇论文，录取率为31.7%。为期4天的会议，共有8个邀请演讲主题，内容包括：算法公平性的进展、对抗机器学习、发展自主学习：人工智能，认知科学和教育技术、用神经模型学习自然