NeurIPS 2018｜BP不用算梯度，这样的线性反向传播也能Work！
选自 NIPS 2018,机器之心编译,作者：Mehrdad Yazdan,参与：路雪、思源。
反向传播是常用的学习算法，但它存在一些缺陷，如过于敏感、依赖大量条件和约束。来自加州大学圣地亚哥分校的研究科学家 Mehrdad Yazdani 对误差项的线性反向传播进行研究，该方法在前向传播中使用非线性激活函数，但是在反向传播中使用线性激活函数，因此它可以确保梯度流的正常传递，同时节约计算成本。反向传播算法（Backprop）是很多机器学习算法中主要使用的学习算法。但是在实践中，深度神经网络中的反向传播是一种非常敏感的学习算法，它的成功取决于大量条件和约束。约束的目的是避免产生饱和的激活值，这么做的动机是梯度消失会导致学习过程中断。特定的权重初始化和尺度变换 方案（如批归一化）可确保神经元的输入激活值是线性的，这样梯度不会消失，能够流动。
本论文仅研究误差项的线性反向传播，即忽略非线性梯度流带来的单元饱和。本文将这一学习规则称为线性反向传播（Linear Backprop）。因为不用计算梯度，除了确保持续的梯度流以外，Linear Backprop 在计算成本高昂的情况下仍然可以使用。该研究的早期结果表明，使用 Linear Backprop 进行学习与使用 Backprop 不相上下，且能够节约梯度计算的成本。
这篇 Linear Backprop 接受为 NIPS/NeurIPS 2018 关于紧凑神经网络的 Workshop 论文，该研讨会关注构建紧凑和高效的神经网络表征。具体而言，其主要会讨论剪枝、量化和低秩近似等神经网络压缩方法；神经网络表示和转换格式；及使用 DNN 压缩视频和媒体的方式。
该 Workshop 的最佳论文是机器之心曾介绍过的 Rethinking the Value of Network Pruning，这篇论文重新思考了神经网络过参数化的作用，该论文表示剪枝算法的价值可能在于识别高效结构、执行隐性的架构搜索，而不是在过参数化中选择「重要的」权重。Hinton 等研究者也在 Workshop 论文中提出一种神似剪枝的Target Dropout，它类似于将剪枝嵌入到了学习过程中，因此训练后再做剪枝会有很好性质。
- Workshop 地址：https://nips.cc/Conferences/2018/Schedule?showEvent=10941
论文：Linear Backprop in non-linear networks
论文地址：https://openreview.net/pdf?id=ByfPDyrYim
长期以来，人们认为具备非多项式和非线性单元的深度神经网络是万能函数逼近器。但是，在神经网络研究的早期阶段，并不清楚学习算法能从权重的最优集合中发现什么。Frank Rosenblatt 的开拓性研究本质上仅学习了多层感知器输出层的权重，且随机保持输入层权重不变，而 Fukushima 使用赫布型学习（Hebbian learning）。反向传播一经引入神经网络研究即获得了巨大成功，目前仍是最常用的学习算法。
尽管那么成功，反向传播是一种高度敏感的学习算法，在实践中要想使之发挥作用还需要大量技巧。反向传播的问题在于：容易饱和的激活函数、合适的学习率、批大小、epoch 数量等。研究人员付出了很多努力来避免神经元或单元的饱和。饱和单元的主要问题是梯度消失，进而导致学习中断。因此，研究人员进行了大量尝试来确保神经元的输入激活值是线性的，包括引入正则化方法（如 L2 惩罚项）、批归一化和权重初始化。还有一些解决方案从激活函数入手，限制饱和区域来确保梯度流。Gulcehre 等人的研究《Noisy activation functions》对具备非饱和区域的激活函数进行了大量探索，因为这些非饱和区域能提供梯度。
梯度流是学习的必要因素，因此本论文主要研究学习算法都是在确保更优的线性梯度流。线性反向传播算法（见 Algorithm 2）可以确保所有区域的梯度流都能正常传递，因此可用作替代学习算法。与反向传播（见 Algorithm 1）相比，线性反向传播中的前向传播过程是相同的。该网络架构具备非线性激活函数，因此仍然是高度非线性的，但我们在计算损失函数时只考虑线性反向传播误差。由于在线性反向传播中，激活函数的导数不用计算（Algorithm 2 中红色字），因此线性反向传播与反向传播相比节约了计算量 O(ml)。
换一种方式思考本论文提出的学习规则：研究者引入了一个正则化项，使计算梯度时仅计算线性梯度，不考虑非线性组件。也就是说，在推断阶段使用深度非线性网络，但训练阶段中损失函数本质上被裁剪成一个深度线性神经网络。前向传播的计算和反向传播无异，但反向传播仅使用线性反馈项。
近期多项研究出于生物可解性考虑反向传播的变体。[Lillicrap et al., 2016] 展示了使用随机权重的学习过程是可行的。[Baldi and Sadowski, 2016] 考虑了很多赫布型学习算法和误差反向传播学习算法。线性反向传播与 Bengio 等人 2013 年提出的 Straight Through Estimator 有一些相似处，但前者提出对任意激活函数应用估计器。
如前所述，线性反向传播不计算梯度，因此节约了很多计算成本。线性反向传播学习算法支持计算资源有限的情况。实验结果表明在特定条件下，线性反向传播的性能与反向传播相当。
如下图红色所示，线性反向传播算法在传递损失函数的梯度时，因为是线性函数，所以不需要另外再求梯度。
1.1 合成数据示例
图 1：（左）相同的 MLP 架构使用反向传播和线性反向传播时在 5 个样本上的过拟合情况。（中）MLP 使用 50 种不同的权重随机初始化在相同的 5 个点上预测和目标之间的 MSE。（右）使用 sigmoid 激活函数进行训练后，单元激活值的直方图。
1.2 在 CIFAR-10 上的 VGG 和 ResNet 二值神经网络
图 2：VGG19 在 CIFAR-10 数据集上的学习曲线。