分析帖！怎样辨别生物和人工神经网络中的递归？

点击上方关注，All in AI中国

递归是神经网络中的一个重要术语，在机器学习和神经科学领域有着不同的含义。然而，随着用于实际应用的人工神经网络(ANNs)越来越复杂，且在某些方面更像生物神经网络(BNNs)，这种差异正在逐渐缩小(但总体上仍存在巨大差异)。

在这篇文章中，我们将重点介绍这两个群体中递归使用的历史差异，重点介绍一些比较新的神经科学领域的深度学习神经网络模型，指出一些神经科学研究揭示递归的功能，并对未来进行预测。

深度学习社区所指的是经常性连接类似于神经科学界所说的横向连接。 即局部区域中的互连神经元。

在神经科学界，经常性网络是一种多样性的网络，包括前馈、横向和反馈连接。

反馈连接适合动物的能力和行为，在没有这种连接的深度学习模型中可能无法复制。

深度学习人工神经网络的递归

正如许多读者所知，深度学习网络是神经网络的子类型，其中神经元(或节点)被安排成层。与早期研究的只有一两个这样的层的网络相比，这样的网络中存在许多层，这也是它命名的原因。在一个典型的全连接前馈深度学习网络中，给定层中的所有神经元都将它们的输出发送给紧随其后的层中的所有神经元(计算的方向流通常被描述为从下到上或从左到右在层之间移动)。

人们还可以设计网络，其中给定层中的神经元将其输出发送到紧接在其之前的层，从而引入层之间的反馈连接。

最后，一层神经元可以以完全连接（或其他）的方式将其输出发送回自身。 存储在层中的信息在下一个处理步骤中作为对同一层的输入重新出现。 这是一种递归的类型，在深度学习实践者讨论时总是意味着递归仅限于一个层。 （请注意，可能存在多个循环层，但层间连接仅为前馈。）

与右侧的前馈网络不同，左侧的网络具有“反馈”到自身的重复层（较大的浅蓝色圆圈）。在深度学习的说法中，

这种递归连接将记忆赋予递归神经网络(RNN)。网络的输出不再仅仅依赖于对标时间的输入。相反，网络在任何给定的时间都有一个“状态”，它与下一个输入相结合，提供一个新的输出，并更新网络的状态。

这允许RNN识别或产生其时间结构不同的模式，例如语音[1]。 例如，话语<sleep>和<sleeeep>都可以被识别为单词“sleep”。 事实上，这种序列到序列网络的设计和训练方法的重大进步是语音识别技术在过去2 - 3年中取得如此巨大进步的关键原因。 Siri和Alexa可能仍然像个“人工智障”，但至少他们可以非常准确地将您口语翻译成文本（尽管您可能并不总是认可它们的回答）。

文本的语言翻译是另一个取得巨大成功的领域。递归式的使用允许在编码阶段中积累信息，在解码阶段中进行分布式(跨时间输出)，因此不需要直接进行单词对单词或短语对短语的对齐。例如，允许一种语言中单词前的修饰语在另一种语言中紧随其后，或是将red hat翻译成sombrero rojo。

更不用说上面所说的“普通”RNN架构在实践中很少使用了。高级应用程序通常依赖于人为设计的修改，以适应门控机制。在某种意义上，这允许它在接收到某个输入或交付某个输出时“转储”循环层的状态内存。作为一个类比，当你完成一个想法时，可能会希望扔掉那个想法，这样它就不会和你的下一个想法混淆了。值得注意的是，最常见和有效的门控层之一是长短期内存(LSTM)层，最初创建于1997年，远远早于基于rnnn的应用程序的。

生物神经网络中的递归

在神经科学家中，递归有一个更宽泛的定义：基于生物神经网络(BNNs)中神经元之间几乎各向同性的连接模式。神经元向其他神经元的轴突投射非常丰富，可以向前或向后、短距离或长距离传送。虽然有证据表明，大脑皮层在结构和功能上都存在粗糙的分层结构，但大脑皮层显然没有被安排成神经元的有限层(组)。大脑作为一个整体有不同的区域，有不同类型的神经元和神经递质，但没有像深度学习神经网络定义特征那样的分隔连接。尽管如此，深度学习实践者所称的反复连接更有可能被神经学家称为横向连接。

递归网络是以吸引子网络的模式完成特性，这也是计算神经科学家进行大量研究的方面。在我们自己的脑海中，可能只需要短暂的一瞥，一阵短暂的声音或者一点点气味，就能带来强烈而充满活力的记忆。或者当我们试着回忆一个演员或女演员的名字时，我们会想象他们的脸，想起他们合作过的其他演员的名字、电影的名字等等，直到他们的名字神奇地出现在我们的脑海中。类似的现象已经在吸引子网络的模拟中被观察到(一个非深度学习结构的ANN，通常带有抑制和兴奋性的人工神经元，这代表了BNNs的更现实的模型)。例如，由人脸图像驱动的神经活动模式也可能由同一人脸的模糊或嘈杂图像驱动，只是在后一种情况下，网络的动态需要更长的时间才能达到稳定状态。

Hopfield吸引网络的能量景观。感觉信息可以简单地将网络活动定位在不稳定的部分信息状态，从该状态

比区分深度学习神经网络的有限递归(层内)与广泛递归更重要的是，在大多数深度学习模型中缺乏反馈连接。在神经科学领域，“递归”一词几乎等同于反馈和前馈连接的混合，最近的研究为反馈的作用提供了新的证据。

生物网络中可能存在的周期性连接和反馈连接功能:

迭代感知处理：即循环处理，其中自下而上和自上而下的信息流相互作用以稳定结果。有关该主题的更深入问题，请见以下内容。

长期记忆：不完整的信息可以发起从长期储存在网络的存储器召回（如上所述）。

短期记忆：可以记忆短数字序列或几句话内容所需，由共同产生稳定（或动态的）发射模式的神经元维持，保持新的短期记忆。该功能与上述序列到序列深度学习RNN的功能相似（例如，允许语音识别和语言翻译）。

自上而下的目标驱动注意力:基于目前的任务和相关目标，并不是所有的感官信息都具有同等价值。寻找自己喜爱的红色浆果的动物可能具有反馈连接，这种连接可以增强对红光作出反应的低层神经元的活动，同时降低对其他颜色作出反应的神经元的活动。这个过程的神经模型利用了深度学习社区工作。

可塑性:递归也是生物大脑学习机制的重要组成部分。例如，皮层下基底核中的多巴胺释放神经元是由皮层和皮层下区域组成的复杂网络的一部分，能够增强皮层区域对奖赏(食物、交配等)行为的可塑性，从而加强这种行为。这种神经元和网络的复杂性在最先进的深度学习中几乎完全缺失。

门控:据推测，反馈也可以作为一种门控机制来控制信息从低级神经元到高级神经元的流动。注意力可能会使用这样的门控，但这里我们指的门控不是由生物体的意识感知和目标驱动的。例如，众所周知，关于物体身份的视觉信息是沿着枕叶皮质到下颞叶皮质的通路提取和提炼的。相反，目标位置信息是沿着枕叶皮质到顶叶皮质的路径提取和细化的。门控可能有助于指导这种信息传递过程，并且可能是支持前面讨论的迭代感官处理的机制。

迭代感官处理

我们简要强调BNN中循环和反馈连接的迭代感知处理角色，并将其与在深度学习神经网络中主导图像分类任务的前馈卷积神经网络（CNN）进行对比。

深度学习对象(image)识别模型在该领域取得了巨大的成功，自CNN发布第一个赢得ImageNet大型视觉识别挑战(ILSVRC)的模型“AlexNet”以来，该领域发展迅速。由于视觉皮层是哺乳动物皮层中研究最广泛的区域，因此，人们对深度学习中枢神经网络与哺乳动物视觉进行了许多主观和定量的比较。

早期的视觉神经科学模型是基于Hubel和Weisel等人对单个神经元的记录，它们与标准的中枢神经网络相似，都有卷积、汇聚和前馈连接。功能模型前馈的部分动机是视觉感知速度很快，大约在100毫秒左右。这一估计是基于大脑“高级”区域的神经放电时间相对于向实验动物展示图像的时刻。基于解剖学，视觉皮层通常被建模为一个松散的层次结构，由4-6个层次组成，具有强烈的反馈连通性。尽管存在反馈连接，但较高水平的神经反应速度表明，反馈连接并非完全必要(对于简单的对象识别任务)。如果不是这种情况，在这些领域形成稳定反馈的速度将会更慢，因为反馈循环的贡献需要更多的时间来传播。

然而，在具有挑战性的ILSVRC测试集中，CNNs需要几十层甚至数百层才能实现良好的图像分类性能，这与仅仅由几个前馈级组成的视觉皮层模型形成了矛盾。此外，在一些计算研究中，相对较浅的RNNs与较深的CNNs表现相当。

Liao和Poggio [10]建立了一个4级复发网络，旨在模拟视觉皮层。在这个粗糙的模型中，来自眼

最近，世界级实验室进行的一对神经科学研究以及对生物反馈性连接的时间延迟研究，表明需要递归才能捕获人类视觉皮层的动态计算， 递归对于视觉皮层执行识别行为至关重要。 简而言之，如果没有被循环网络多次迭代，就无法识别出更具“挑战性”的对象图像实例。 换句话说，需要额外的非线性变换以成功识别对象，在那些区域中形成的反馈将更慢，因为来自反馈回路的贡献需要更多的时间来传播。

最后的话

如上所述，虽然循环深度学习神经网络模型具有层内递归（神经科学用语中的“横向”连接），但很少有神经科学家经常研究的反馈连接类型：从较高层到较低层的连接。

与此相关的是，生物神经元是并行运作的，因此在大规模的递归网络中的计算可以快速进行。事实上，神经元状态的同步计算更新是成功的关键。对于运行在现代硬件上的大型、高重复性神经网络，这种程度的并行可能很难实现。我们推测，在深度学习模型中引入大量的反馈递归，并为这些模型开发训练方将带来强大的人工智能能力。

编译出品