深度学习中的奇怪循环 你知道几个？

Credit: Escher https://www.esmadrid.com/en/whats-on/escher-gaviria-palace

道格拉斯·霍夫斯塔特（Douglas Hofstadter）在他的著作《我是一个奇怪的循环》中提出了这个看法：

最终，我们能够自我感知、自我创造、自我参照。

他将这种自我参照的机制称为思想独特的属性。这个奇怪的循环是在层次结构中跨越多个层次的循环系统。顺着这个循环移动，人们会重新回到自己最初开始的地方。

巧合的是，这个“奇怪的循环”其实就是Yann LeCun所说的“机器学习领域过去二十年里最酷的想法”。

深度学习系统中的循环并不典型。这些系统通常由计算层的非循环图组成。然而，正如我们现在发现的那样，“反馈循环”的使用在自动化领域创造出了一个最令人难以置信的新功能。这绝对不是幻想，这就发生在今天，研究人员正在训练“狭义”智力系统，希望能创造出超越人类的超级专业级自动化。

我首先要谈到的是在“梯形网络”中使用了反馈回路的深度学习系统。梯形网络这个概念的提出最早可以追溯到2015年7月（参见：https://arxiv.org/abs/1507.02672v2），这是它的架构图：

https://arxiv.org/abs/1511.06430v4 梯形网络架构图

梯形网络是一个单向循环，上下层都是单通。系统从循环部分获取信息。在2016年中期的一篇论文中，最初的研究人员对其做了进一步的扩展：

https://arxiv.org/pdf/1606.06724v2.pdf 深度无监督感知分组

将多个梯形网络串联在一起可以形成一个能够对图像中的对象进行分组的网络。

生成式对抗网络（GAN）也有自己的循环，但在其架构中并不是显式的存在，而是作为其训练的一部分。 GAN参与了合作式和决斗式网络的训练。这涉及到生成式网络和判别性网络。鉴别器网络尝试对生成式网络正在创建的数据进行分类。生成式网络试图找出想要欺骗判别性网络的数据，并最终形成更健壮的鉴别器和生成器。 GAN执行的是一种图灵测试，这是目前针对图像最佳的生成模型。

目前存在一种反馈机制，它是以神经网络的形式来使用，生成器使用这种机制可以生成更为复杂的结果（例如，更真实的图像）。利用GAN生成真实图像的例子有很多。然而，新的架构现在正在促使梯形网络的GAN进行改进：

https://arxiv.org/abs/1612.04357v1 堆叠式生成对抗网络

这些利用周期的系统也与最新研究“增量学习”有关。深度学习系统有一个缺点，那就是在用新数据进行训练来微调网络的时候，会破坏原有的记忆能力。网络会“遗忘”过去所学的东西。在斯坦福大学开发的一个名为“反馈网络”的架构中，研究人员研究出另一种不同的网络，它能够反馈到自身并逐步形成内部表示：

http://feedbacknet.stanford.edu/feedback_networks_2016.pdf

在加州大学伯克利分校最近发表的一项研究（2017年3月）中，他们使用GAN和一种新型的规则化实现了令人惊讶的图像到图像翻译。他们称这个系统为CycleGAN，并展示了一些让人印象深刻的结果：

来源: https://junyanz.github.io/CycleGAN/

CycleGAN能够实现非常优秀的图像翻译。如上图所示，它以画作作为输入，输出逼真的照片。它还可以实现语义翻译，例如将马变成斑马，或将一个季节拍摄的图像转变成看起来是在另一个季节拍摄的。

该方法的关键是使用“循环一致性损失”。这种损失确保网络可以执行前向翻译，然后以最小的损失进行逆向翻译。也就是说，网络不仅要学习如何翻译原始图像，还需要学习逆向（或反向）翻译。

训练深度学习系统的难点在于缺少标签数据。标签数据是驱动深层学习模型准确性的动力。而这些利用循环的新型系统则解决了标签数据缺少的问题。它就像是一台永动机，在这些自动化中凭空创造出各种各样的标签数据。因此，他们能够为自己提供更多的数据。这些自动化能够自己跟自己玩模拟游戏，并且如果玩得足够多的话，最后就会成为专家。

这类似于AlphaGo，它能够通过自我对战来开发出新的Go策略。当自动化嵌入反馈回路，模拟出（有些将称之为“想象力”）许多不同的场景，并自我测试这些场景正确性的时候，说明我们已处于一种极为强大的技术的尖端，这项技术可以迅速发展成为我们文明中几乎没人具有的能力。所以，在你看到一些令人难以置信的深度学习结果的时候，可以去寻找嵌入在方法中的那个奇怪的循环。

文章原标题《The Strange Loop in Deep Learning》，作者：Carlos E. Perez，译者：夏天，审校：主题曲。

文章为简译，更为详细的内容，请查看原文（需备梯子）或者下载PDF文档阅读。https://yq.aliyun.com/articles/129890