卷积神经网络商业可行，新论文提出WR-Inception网络

选自arXiv

参与：高静宜

卷积神经网络（CNN）对计算成本的要求一直以来都让其在嵌入式或移动平台上的商业应用举步维艰，近日，韩国仁荷大学的研究者提出了一种有望解决这一难题的「WR-Inception」，引起了广泛关注。本文是对其研究论文的摘要介绍，原论文请点击文末「阅读原文」查看。

摘要

自卷积神经网络（CNN）模型出现以来，许多计算机视觉领域的任务都可以有效利用 CNN 模型实现特征提取。然而，传统的 CNN 模型计算成本较大并且对内存容量要求较高，这使得一些商业应用变得不切实际和难以承受，如基于嵌入式开发板或移动平台完成路实时路面物体检测。为了克服 CNN 模型的这个短板，这篇论文提出了一种宽残差-Inception（Wide-Residual-Inception 又 WR-Inception）网络，其架构的构建基于一种Residual Inception Unit，这种单元能够在相同的特征映射中捕捉各种尺寸的对象。与类似于 ResNet 的目前位于先进水平的网络相比，它具有更浅更宽的层次。为了验证所提出的这个网络，这篇论文阐述了两个实验：一个是基于 CIFAR-10/100 的分类任务，另一个是在 KITTI 数据集上利用 Single-Shot Multi-box Detector(SSD) 完成路面物体检测任务。

背景

时下关于人工智能的研究十分活跃，成果也层出不穷，在这个大环境下，基于深度神经网络（DNN）的人工智能已经被灵活地应用于社会生活的方方面面，而且现在的趋势是这样的技术可能在更多的领域中被需求着。特别是自从卷积神经网络（CNN 或 ConvNet）出现，计算机视觉新技术逐步替代了传统的计算机视觉技术。CNN 模型不仅增强了图片分类器的精确度，而且在物体检测，语义分割，深度估算等领域使用了通用特征提取器。

然而，CNN 技术需要大量的计算成本和内存，为了训练和有效地利用这个方法，需要使用很高端的硬件系统。另外，对于先进驾驶员辅助系统（ADAS）或自驾车来说，实时处理也需要超级计算机才能完成。因此，研究 CNN 模型的优化是十分必须的。

为了克服这些难题，这项研究提出了 Wide-Residual-Inception 网络，它与最新的深度神经网络具有相似的性能却需要更少的计算量和存储负担。这项研究具有以下三点创新：

1. 提出了 WR-Inception 网络模型，它需要较少内存和计算量；

2. 与目前技术发展水平相应的网络模型相比，它可以在物体检测的特征提取上实现更好的性能；

3. 有能力在嵌入式开发板中实时进行基于 DNN 的物体探测。

Wide-Residual-Inception 网络

从下图可以看出，模型的性能是与网络的深度有着正相关的趋势，而网络深度的加深，有可能造成梯度消失问题和过拟合问题导致性能大幅度下降。

图 1：各网络精度及深度关系的比较

残差网络（ResNets）利用「跳过连接」这样的方式来解决梯度消失问题。具体来说就是跳过卷积层来帮助梯度通过旁支度过重层，形成一个近路残差块即残差单位，如图 2（a）。可是深度残差网络还是需要大量的计算成本和容量的。那么，找到网络合适的深度和结构就很迫在眉睫了。

图 2：各种残差单元

一个网络有三个要素：深度，宽度和过滤器尺寸，宽残差网络（Wide-Residual Network）利用减少残差网络深度，增加网络宽度的方式，保留了残差网络具有近路残差块的特点。在此基础上，在 Inception Module 增加级联运算，如图 2（c），使各分支合成一个独立的张量，可以加强特征映射空间。

我们提出的 Wide-Residual-Inception 网络是将 Residual-Inception 单元应用于宽残差网络中。另外，我们可以调整卷积过滤器的数目从而得到不同版本的 WR-Inception 网络。下图是几种网络结构的宏观图：

图 3：三种网络结构的比较

从下表可以更清晰地看出 Residual-Inception 各单元内容

表 1：各网络结构

针对物体检测的迁移学习（Transfer Learning）

ConvNet 的最重要的优势之一就是它可以提取优良的特征代表，我们利用迁移学习来完成我们的两个实验，其流程图如下：

图 4：迁移学习的流程图

总结

这篇论文提出了 Wide-Residual-Inception 网络来弥补现存网络模型的不足。通过两个实验数据可以证明，这个网络模型在环境资源有限的条件下，如嵌入式开发板或移动平台上是十分经济且有效的。

图 5：各网络模型在 NVIDIA Jetson TX1 嵌入式板上执行任务的参数比较

表 2：Test error（%）on CIFAR-10/100 by different networks

表 3 Average precision（%）& Average recall（%）on KITTI validation set（mAP=Average Precision()）

未来，我们可以寄希望于本文提出的网络模型在计算机视觉领域内有更广发的应用。