小白必读：5个简单的例子教你把基础数学与机器联系起来
点击上方关注，All in AI中国
作者——Raimi Karim
5个简单的例子教你在FFNN, RNN和CNN模型中计算参数个数。
手动计算深度学习模型的参数个数往往被认为太过于琐碎，而且是在做无用功。因为你的代码已经可以为你做到这一点。但是我还是执意想写这篇文章，以便我们偶尔参考一下。下面是我们要用到的模型:
1. 前馈神经网络(FFNN)（https://towardsdatascience.com/counting-no-of-parameters-in-deep-learning-models-by-hand-8f1716241889#9fe4）
前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。是目前应用最广泛、发展最迅速的之一。研究从开始，目前理论研究和实际应用达到了很高的水平。
2.递归神经网络(RNN)（https://towardsdatascience.com/counting-no-of-parameters-in-deep-learning-models-by-hand-8f1716241889#192e）
递归神经网络（RNN）是神经网络的一种。单纯的RNN因为无法处理随着递归，权重指数级爆炸或消失的问题（ gradient problem），难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。
时间递归神经网络可以描述动态时间行为，因为和（feedforward neural network）接受较特定结构的输入不同，RNN将状态在自身网络中循环传递，因此可以接受更广泛的时间序列结构输入。手写识别是最早成功利用RNN的研究结果。
3.卷积神经网络(CNN)（https://towardsdatascience.com/counting-no-of-parameters-in-deep-learning-models-by-hand-8f1716241889#5137）
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含计算且具有深度结构的（Feedforward Neural Networks），是（deep learning）的代表算法之一 。
同时，我将使用来自Keras的api来构建模型，以便进行简单的开发，并编写干净的代码，因此让我们快速导入相关的对象：
在构建模型之后，调用model.count_params()来验证有多少参数是可训练的。
1. FFNNs
i，输入的大小
h，隐藏层的大小
o，输出的大小
对于一个隐藏层而言，
num_params
= (i×h + h×o) + (h+o)
下面让我们进行举例论述。
示例1.1:输入大小为3，隐藏层大小为5，输出大小为2
图1.1：在该前馈神经网络中，输入大小为3，隐含层大小为5，输出大小为2。图形反映了计数的单元。
i = 3
h = 5
o = 2
num_params
= (i×h + h×o) + (h+o)
=(3×5 + 5×2) + (5+2)
= 32
示例1.2:输入大小为50，隐藏层大小[100，1，100]，输出大小为50
图1.2：前馈神经网络有三个隐藏层。图形不反映计数单元。
i = 50
h = 100, 1, 100
o = 50
num_params
= (i×h + h×o) + (h+o)
= (50×100 + 100×1 + 1×100 + 100×50) + (100+1+100+50)
= 10,451
2. RNNs
g，门的数量。(RNN有1个门，GRU有3个门，LSTM有4个门)
h，隐藏单元的大小
i，输入的大小
每个门的权值个数实际上是一个FFNN，有输入大小(h+ i)和输出大小h，所以每个门都有h(h +i) + h个参数。
num_params = g×(h(h + i)+ h)
示例2.1:LSTM包含两个隐藏单元和输入维度3。
图2.1 ：LSTM"细胞"。源自：https://towardsdatascience.com/animated-rnn-lstm-and-gru-ef124d06cf45
g = 4 (LSTM有 4个门)
h = 2
i = 3
num_params
= g × [h(h+i) + h]
= 4 × [2(2+3) + 2]
= 48
例2.2:有5个隐藏单元的双向GRU以及输入大小为8+有50个隐藏单元的LSTM。
图2.2：由BiGRU层和LSTM层叠加的RNN。图形不反映计数单元。
有5个隐藏单元的双向GRU，输入大小为10
g = 3 (GRU有3个门)
h = 5
i= 8
num_params_layer1
= 2 × g × [h(h+i) + h] (第一项是2因为这是一个双向式)
=2 × 3 × [5(5+8) + 5]
= 420
有50个隐藏单位的LSTM
g = 4 (LSTM有4个门)
h = 50
i = 5+5(因为GRU输出是双向连接，且GRU的输出大小为5）
num_params_layer2
= g × [h(h+i) + h]
= 4 × [50(50+10) + 50]
= 12,200
total_params = 420 + 12,200 = 12,620
默认情况下，merge_mode是串联的。
CNNs
在只有一层的情况下，
i，输入通道个数
f，过滤器大小(只是长度)
o，输出通道个数。（这是由使用了多少过滤器来定义的)
每个输入通道都有一个过滤器。
num_params
= [i × (f×f) × o] + o
例3.1:1×1过滤器的灰度图像、输出通道为3
图3.1:灰度图像的卷积为2×2过滤器，输出通道为3
i = 1 (灰度图只有一个通道)
f = 2
o = 3
num_params
= [i × (f×f) × o] + o
= [1 × (2×2) × 3] + 3
= 15
例3.2：有着2×2过滤器,输出通道为1的RGB图像
每个输入特征映射都有一个过滤器。生成的卷积按元素顺序添加，并向每个元素添加一个偏差项。这将给出一个带有特征映射的输出。
图3.2:一个2×2的RGB图像的卷积过滤器输出1通道
i = 3 (RGB图像有3个通道)
f = 2
o = 1
num_params
= [i × (f×f) × o] + o
= [3 × (2×2) × 1] + 1
= 13
例3.3:图像有2个通道,2×2过滤器,和3通道的输出
每个输入的特征映射有3个过滤器(紫色、黄色、青色)。生成的卷积按元素顺序添加，并向每个元素添加一个偏差项。这给出了一个带有3个特性映射的输出。
图3.1：2通道图像的卷积为2×2过滤器，输出3频道
i = 2
f = 2
o = 3
num_params
= [i × (f×f) × o] + o
= [2 × (2×2) × 3] + 3
= 27
关于深度学习相关文章推荐：
1.《Animated RNN, LSTM and GRU》链接：https://towardsdatascience.com/animated-rnn-lstm-and-gru-ef124d06cf45
2.《Step-by-Step Tutorial on Linear Regression with Stochastic Gradient Descent》链接：https://towardsdatascience.com/step-by-step-tutorial-on-linear-regression-with-stochastic-gradient-descent-1d35b088a843
3.《10 Gradient Descent Optimisation Algorithms + Cheat Sheet》链接：https://towardsdatascience.com/10-gradient-descent-optimisation-algorithms-86989510b5e9
4.《Attn: Illustrated Attention》链接：https://towardsdatascience.com/attn-illustrated-attention-5ec4ad276ee3
