米少熬好粥—数据有限时怎样调优深度学习模型

迁移学习

所谓迁移学习，就是将一个问题上训练好的模型通过简单的调整，使其适用一个新的问题，可以认为是一种模型调优的“取巧”方法。可以类比人的举一反三能力。

迁移学习的特点

1、需求数据量少

假设有两个领域，一个领域已经有很多的数据，能成功地建一个模型，有一个领域数据不多，但是和前面那个领域是关联的，就可以把那个模型给迁移过来。比如，我们想做一个化妆品推荐模型，但数据量较少，可以先用一个成型的较为稳定的饰品推荐模型进行调优。跨领域的在学术界也有尝试哦，比如网络搜索可以迁移到推荐，图象识别可以迁移到文本识别。

2、训练时间少

在没有GPU的普通台式机或者笔记本上，实现Google的Inception-v3模型迁移学习训练过程只需要大约五分钟(tensorflow框架)。

3、容易满足个性化需求

比如每个人都希望自己的手机能够记住一些习惯，这样不用每次都去设定它，怎么才能让手机记住这一点呢?

其实可以通过迁移学习把一个通用的用户使用手机的模型迁移到个性化的数据上面 。不过，如果数据量足够的情况下，迁移学习的效果一般不如完全重新训练哦。迁移学习适合与快速小巧的工程化，解决所谓的冷启动问题，当数据收集得足够多了以后，我们再改用深度学习。

迁移学习四种实现方法

1、样本迁移Instance-based Transfer Learning

一般就是对样本进行加权，给比较重要的样本较大的权重。

样本迁移即在数据集(源领域)中找到与目标领域相似的数据，把这个数据放大多倍，与目标领域的数据进行匹配。其特点是：需要对不同例子加权;需要用数据进行训练。比如下图，可以将一个动物识模型的源数据中的狗狗图片增多，达到专门针对狗的识别模型。

2、特征迁移Feature-based Transfer Learning

在特征空间进行迁移，一般需要把源领域和目标领域的特征投影到同一个特征空间里进行。

如下图示例，特征迁移是通过观察源领域图像与目标域图像之间的共同特征，然后利用观察所得的共同特征在不同层级的特征间进行自动迁移。

3、模型迁移Model-based Transfer Learning

整个模型应用到目标领域去，比如目前常用的对预训练好的深度网络做微调，也可以叫做参数迁移。

模型迁移利用上千万的图象训练一个图象识别的系统，当我们遇到一个新的图象领域，就不用再去找几千万个图象来训练了，可以原来的图像识别系统迁移到新的领域，所以在新的领域只用几万张图片同样能够获取相同的效果。模型迁移的一个好处是我们可以区分，就是可以和深度学习结合起来，我们可以区分不同层次可迁移的度，相似度比较高的那些层次他们被迁移的可能性就大一些 。

这里讲一个例子，比如我们想将训练好的Inception-v3简单调整，解决一个新的图像分类问题。根据论文DeCAF : A Deep Convolutional Activation Feature for Generic Visual Recognition中的结论，可以保留训练好的Inception-v3模型中所有卷积层的参数，只是替换最后一层全连阶层。在最后这一层全连阶层之前的网络层称之为瓶颈层。

将新的图像通过训练好的卷积神经网络直到瓶颈层的过程可以看成是对图像进行特征提取的过程。在训练好的Inception-v3模型中，因为将瓶颈层的输出再通过一个单层的全连接层神经网络可以很好的区分1000种类别的图像，所以有理由认为瓶颈层输出的借点向量可以作为任何图像的一个新的单层全连接神经网络处理新的分类问题。

4、关系迁移Relational Transfer Learning

如社会网络，社交网络之间的迁移。

根据源和目标领域是否相同、源和目标任务是否相同、以及源和目标领域是否有标注数据，又可以把迁移学习分成如下图所示：

前沿的迁移学习方向

1、Reinforcement Transfer Learning

怎么迁移智能体学习到的知识：比如我学会了一个游戏，那么我在另一个相似的游戏里面也是可以应用一些类似的策略的。

2、Transitive Transfer Learning

传递性迁移学习，两个domain之间如果相隔得太远，那么我们就插入一些intermediate domains，一步步做迁移。

3、Source-Free Transfer Learning

不知道是哪个源领域的情况下如何进行迁移学习。

二、假如你目前有了一些代表性数据集，进入了温饱阶段，恨不得压榨出每一滴数据的价值，又害怕用力过以偏概全(俗称过拟合)。那么我们可能需要如下技巧。

严防死守过拟合(所谓尽人事，听……)

深度学习由于超参数的个数比较多，训练样本数目相对超参数来说略显不足，一不小心就容易发生过拟合。从本质上来说，过拟合是因为模型的学习能力太强，除了学习到了样本空间的共有特性外，还学习到了训练样本集上的噪声。因为这些噪声的存在，导致了模型的泛化性能下降。

深度学习中有几种较为常用的改善过拟合方法：

1、data augmentation

data augmentation即数据增强，数据增强其实是增加训练样本的一种方法。以人脸识别为例，对于人脸识别的数据增强，一般有随机裁剪，随机加光照，随机左右翻转等。

通过类似的手段，无论是图像处理，还是语音或者自然语言处理，我们都能有效地增加样本数量。更多的训练样本意味着模型能够学到更多的本质特征，具有对于噪声更好的鲁棒性，从而具有更好的泛化性能，能够有效地避免过拟合。

2、early stopping

early stopping，顾名思义，就是在训练次数没有达到预先设定的最大训练次数时，我们就让网络停止训练。采用early stopping需要我们在训练集合上划分出一小部分(大概10%~30%吧)作为验证集，验证集不参与训练，可以视为是我们知道结果的测试集。我们通过实时监控模型在验证集上的表现来(实时监控并不意味着每次迭代都去监控，可以每1000次去观察一次)，一旦模型在验证集上的表现呈现下降趋势，我们就停止训练，因为再训练下去模型的泛化性能只会更差。

而实际训练中，我们不可能一直坐在电脑旁观察验证集的准确率，更一般的做法是每隔一段时间(比如每1000次迭代)就保存一次模型，然后选择在验证集上效果最好的模型作为最终的模型。

3、增加Dropout层

Dropout(https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf )原理非常简单，Dropout t的作用对象是layer，对于某一层中的每个节点，Dropout技术使得该节点以一定的概率p不参与到训练的过程中(即前向传导时不参与计算，bp计算时不参与梯度更新)。

如上图所示，实验证明了，Dropout的效果非常爆炸，对于模型训练有非常好的效果。

为什么Dropout能起到这么大作用呢?

一个原因是通过Dropout，节点之间的耦合度降低了，节点对于其他节点不再那么敏感了，这样就可以促使模型学到更加鲁棒的特征;

第二个是Dropout 层中的每个节点都没有得到充分的训练(因为它们只有一半的出勤率)，这样就避免了对于训练样本的过分学习;

第三个原因是在测试阶段，Dropout 层的所有节点都用上了，这样就起到了ensemble的作用，ensemble能够有效地克服模型的过拟合。

在实际的模型训练中，ropout在一般的框架中初始默认的0.5概率的丢弃率是保守的选择，如果模型不是很复杂，设置为0.2就够了。

不过也要注意到Dropout的缺点：

(1)Dropout是一个正则化技术,它减少了模型的有效容量。为了抵消这种影响,我们必须增大模型规模。不出意外的话,使用Dropout时最佳验证集的误差会低很多,但这是以更大的模型和更多训练算法的迭代次数为代价换来的。对于非常大的数据集,正则化带来的泛化误差减少得很小。

在这些情况下,使用Dropout和更大模型的计算代价可能超过正则化带来的好处。

(2)只有极少的训练样本可用时,Dropout不会很有效。

4、weight penality(L1&L2)

第四种常用的办法就是weight decay,weight decay通过L1 norm和L2 norm强制地让模型学习到比较小的权值。

这里有两个问题：

(1)为什么L1和L2 norm能够学习到比较小的权值?

(2)为什么比较小的权值能够防止过拟合?

对于第一个问题：

首先看一下L1和L2的定义：

其中C0为未加上惩罚项的代价函数。那么L1和L2形式的代价函数会如何影响w的值呢?

1)未增加惩罚项w的更新

2) L1下的w更新，其中u为学习率

3) L2下的w更新，其中u为学习率

由上面的(1)(2)(3)可以看出，加上惩罚项之后，w明显减少得更多。L1是以减法形式影响w，而L2则是以乘法形式影响w，因此L2又称为weight decay。

对于第二个问题：

过拟合的本质是什么呢?无非就是对于非本质特征的噪声过于敏感，把训练样本里的噪声当作了特征，以至于在测试集上的表现非常稀烂。当权值比较小时，当输入有轻微的改动(噪声)时，结果所受到的影响也比较小，所以惩罚项能在一定程度上防止过拟合。

除了千方百计增加数据多样性，还要增加模型的多样性

1、试试不断调整隐层单元和数量

调模型，要有点靠天吃饭的宽容心态，没事就调调隐层单元和数量，省的GPU闲着，总有一款适合你。

一般来说，隐层单元数量多少决定了模型是否欠拟合或过拟合，两害相权取其轻，尽量选择更多的隐层单元，因为可以通过正则化的方法避免过拟合。与此类似的，尽可能的添加隐层数量，直到测试误差不再改变为止。

2、试试两个模型或者多个模型concat

比如，两种不同分辨率的图像数据集，分别训练出网络模型a和网络模型b，那么将a和b的瓶颈层concat在一起，用一个全连接层(或者随便你怎么连，试着玩玩没坏处)连起来，，输入concat后的图片，训练结果可能比单个网络模型效果要好很多哦。

loss函数那些事儿

这里只从模型调优的tric角度来介绍下。

Softmax-loss算是最常用的loss方法了，但是Softmax-loss不会适用于所有问题。比如在数据量不足够大的情况下，softmax训练出来的人脸模型性能差，ECCV 2016有篇文章(A Discriminative Feature Learning Approach for Deep Face Recognition)提出了权衡的解决方案。通过添加center loss使得简单的softmax就能够训练出拥有内聚性的特征。该特点在人脸识别上尤为重要，从而使得在很少的数据情况下训练出来的模型也能有很好的作用。此外，contrastive-loss和triplet-loss也有其各自的好处，需要采样过程，有兴趣的可以多了解下。

花式调优

1、batch size设置

batch size一般设定为2的指数倍，如64，128，512等，因为无论是多核CPU还是GPU加速，内存管理仍然以字节为基本单元做硬件优化，2的倍数设置将有效提高矩阵分片、张量计算等操作的硬件处理效率。

不同batch size的模型可能会带来意想不到的准确率提升，这个调节其实是有一定规律和技巧的。

2、激励函数

激励函数为模型引入必要的非线性因素。Sigmoid函数由于其可微分的性质是传统神经网络的最佳选择，但在深层网络中会引入梯度消失和非零点中心问题。Tanh函数可避免非零点中心问题。ReLU激励函数很受欢迎，它更容易学习优化。因为其分段线性性质，导致其前传，后传，求导都是分段线性，而传统的sigmoid函数，由于两端饱和，在传播过程中容易丢弃信息。ReLU激励函数缺点是不能用Gradient-Based方法。同时如果de-active了，容易无法再次active。不过有办法解决，使用maxout激励函数。

3、权重初始化

权重初始化常采用随机生成方法以避免网络单元的对称性，但仍过于太过粗糙，根据目前最新的实验结果，权重的均匀分布初始化是一个最优的选择，同时均匀分布的函数范围由单元的连接数确定，即越多连接权重相对越小。

Tensorflow的 word2vec程序中初始化权重的例子，权重初始值从一个均匀分布中随机采样：

4、学习速率

学习速率是重要的超参数之一，它是在收敛速度和是否收敛之间的权衡参数。选择0.01或者伴随着迭代逐步减少都是合理的选择，最新的方法开始研究学习速率的自动调整变化，例如基于目标函数曲率的动量或自适应调参等。