SIGAI深度学习第七集 卷积神经网络1

讲授卷积神经网络核心思想、卷积层、池化层、全连接层、网络的训练、反向传播算法、随机梯度下降法、AdaGrad算法、RMSProp算法、AdaDelta算法、Adam算法、迁移学习和fine tune等。

大纲：

卷积神经网络简介

视觉神经网络的核心思想

卷积神经网络的核心思想

卷积运算

卷积层的原理

多通道卷积

池化层的原理

全连接层

卷积网络结构

训练算法简介

卷积层的反向传播

池化层的反向传播

全连接层的反向传播

完整的反向传播算法

随机梯度下降法

参数值初始化

学习率的设定

梯度下降法的改进

迁移学习与fine tune

本集总结

卷积神经网络简介：

是各种深度神经网络中被使用最广泛的一种，由LeCun在1989年提出（1998年又设计了LetNet5网络），被成功应用于手写字符图像的识别（如邮政编码识别）。

在这之后的很长时间内，卷积网络没有得到广泛关注和大规模应用，到2012年，有更深层次的AlexNet网络在图像分类（如人脸检测、物体识别）任务中取得成功，此后卷积神经网络高速发展，被广泛用于机器视觉等领域，在很多问题上都取得了当前最好的性能。在上世纪90年代，1995~2012，机器视觉里边很多问题，都是用SVM、AdaBoost来做的，如检测和各种分类问题，比卷积神经网络效果好一些，随着大量的样本的出现及算法本身的改进、GPU计算技术的出现，导致卷积神经网络精度越来越高，对很多问题解决效果越来越好，因此成为解决现实问题的一个方案。

通过卷积和池化层自动学习图像在各个尺度上的特征。

是一种仿生的方法，借鉴自动物的视觉神经网络系统。

视觉神经系统的原理：

人在认知图像时是分层进行的，首先理解的是颜色和亮度，然后是边缘、角点、直线等局部细节特征，接下来是纹理、形状、区域等更复杂的信息和结构，最后形成整个无图的概念。

视觉神经科学之前对于视觉机理的研究已经证明了大脑的视觉皮层具有分层结构，对应于对图像理解时一层层的分层结构。

眼睛将看到的物体成像在视网膜上，视网膜把光学信号转换成电信号，传递到大脑的视觉皮层（Visual cortex），视觉皮层是大脑中负责处理视觉信号的部分。

卷积神经网络的核心思想：

卷积神经网络可以看成是对视觉神经系统机制的简单模仿。

由卷积层、池化层、全连接层构成，通过多个卷积、池化层提取图像在各个尺度上的特征。

每个卷积层包含多个卷积核，用这些卷积核从左向右、从上往下依次扫描整个图像，得到称为特征图（feature map）的输出数据。

网络前面的卷积层捕捉图像局部、细节信息，有小的感受野，即输出图像的每个像素只对应输入图像很小的一个范围；后面的卷积层感受野逐层加大，用于捕获图像更复杂、更抽象的信息。

经过多个卷积层的运算，最后得到图像在各个不同尺度的抽象表示。

卷积运算：

在数字图像处理领域，卷积是一种常见的运算。

可用于图像去噪、增强、边缘检测等问题，还可以用于提取图像的特征。

用一个称为卷积核的矩阵自上而下、自左向右在图像上滑动，将卷积核矩阵的各个元素与它在图像上覆盖的对应位置的元素相乘，然后求和，得到输出值。