MIT将生物学机制引入神经网络，新模型或揭开抑制神经元功能
选自Eurekalert
机器之心编译
参与：微胖、朱思颖
构建了一个新的计算模型，可能有助于我们理解防止其他神经元放电的抑制神经元在计算上所扮演的角色。
MIT CSAIL（计算机科学和人工智能实验室）研究员们开发出一个新的大脑神经回路计算模型，这一模型将有助于理解抑制神经元（阻止其他神经元放电）的生物学功能。
这一模型描述了一个由一列输入神经元和等量输出神经元构成的神经回路，执行神经科学家所谓的「赢家通吃」策略（winner-take-all。重要研究发现，神经系统以这样一种简单的竞争机制保证了使用频率较高、输入较强的环路联接被保留下来并加以强化，而使用频率低、输入较弱的联接被去除，从而使系统资源得到最优化的分配，神经环路的联接更加精确。这种基于竞争的分子机制，对理解正常脑发育十分重要，对研究自闭症（又称孤独症）、精神分裂症等发育性神经系统疾病有重要的借鉴作用。——译者注），其中，来自多个输入神经元的信号仅引发一个输出神经元的信号。
运用理论计算机科学工具，研究员们证明：在他们的模型条件下，一种特定抑制神经元的配置是能够提供激发「赢家通吃」操作的最有效手段。这一模型能对大脑中抑制神经元的行为做出实证性预测，从而为计算分析援助神经科学研究的方式提供一个范本。
研究员们将在这周的理论计算机科学创新（Innovations in Theoretical Comptuer Science）大会上展示他们的研究成果。MIT 软件科学和工程系的 NEC 教授 Nancy Lynch 是这篇论文的第一作者。加入这项研究的还有她研究团队里的一位博后 Merav Parter，以及 MIT 电子工程与计算机科学系的研究生 Cameron Musco。
多年以来，Lynch 的团队在自组织网络（ad hoc networks）的交流和资源分配上开展研究，自组织网络是一种组织成员不断离开和再次加入的网络。直到最近，团队开始使用网络分析工具来研究生物学现象。
「计算机网络的行为（或者其他设备如手机）与生物系统之间有密切的对应关系，」Lynch 谈到。「我们尝试去寻找这样一些问题，这些问题能够从这样的分布式计算视角中受益，并关注我们可以证明出数学性质的算法。」
人工神经学
近年以来，人工神经网络——计算机模型几乎都是基于大脑结构而构建的。此后，从语音转录到面部识别软件，人工智能系统里一些最快速的改进都得益于人工神经网络。
一个人工神经网络包含一系列结点（nodes），这些节点就如一个个神经元，单个结点的信息处理能力有限，但结点之间的相互联系非常稠密。数据会首先输入到第一层结点中，如果一个有阈值判定条件的给定结点接收到数据之后，比如说这个数据值超过某一特定值，那么这个结点就被激发了也即把信号沿着它所有的输出连接传给下一层结点。
所有的这些输出连接每一个都是有关联权重值的，这些权重值可以增强或者减弱传递信号。下一层的每一个结点将会接收到第一层多个结点输出的带有权重的信号；每个结点将会把所有的输入信号累加起来，同理，如果所有信号的累加总值超过某一阈值，这个结点就被激发了，且这个节点的所有输出信号传递到下一层，如此进行下去。
在人工智能应用中，我们使用样本数据「训练」神经网络，不断调整权重和放电阈值，直到最终层的输出能持续表征出一些计算问题的解决方案。
生物合理性
Lynch, Parter 和 Musco 对这款设计做了一些修改，让它更具生物合理性。第一处修改是增加了抑制「神经元」。一个标准的神经网络中，连接的权重值常常是正的，或者可能为正或负。但是，大脑中的一些神经元显然完全起抑制作用，防止其他神经元放电。MIT 研究人员将这些神经元建模为仅有负权重的连接节点。
许多人工智能应用也是「前馈」网络，信号的传递方向是单一的，从接收输入数据的第一层单向传递到输出计算结果的最后一层。但是，大脑连接要复杂的多。Lynch 等人设计的回路包括
反馈：信号经由输出神经元被传递给抑制神经元，它的输出再接着被传递回给输出神经元。输出神经元的信号也反馈给自身，实验证实，这对赢者通吃的策略来说非常重要。
最后，研究人员的网络是概率性的。在一个典型的人工神经网络中，如果节点输入值超过阈值，节点就会放电。但是，大脑中，增大信号通过输入神经元的力量只会增加一个输出神经元放电的几率。研究人员模型中的节点也是这种情况。这一修改对赢者通吃的策略来说，再次起到了关键作用。
在该研究模型中，输入输出神经元的数量是固定的，执行赢者通吃计算也是完全是一堆辅助神经元的任务。Parter 解释说：「我们正在试着观察解决给定问题所花时间和辅助神经元数量之间的平衡。我们将神经元视为一种资源；不想太浪费。」
抑制的好处
Parter 和她的同事也表明，在他们的模型语境下，赢者通吃的策略要奏效，仅有一个抑制神经元肯定是不够的。但是两个抑制神经元就足够了。技巧在于一个抑制神经元——研究人员称之为收敛神经元——会发出强烈的抑制信号，如果不止一个输出神经元放电的话。另一个抑制神经元——稳定神经元——会发出弱得多的信号，只要任一输出神经元正在放电。
收敛神经元驱使回路挑选出一个单独的输出神经元，在这一点上停止放电；而稳定神经元防止第二个输出神经元被激活，一旦收敛神经元被关闭的话。源自输出神经元的自反馈回路提升了该效果。一个输出神经元被关闭的时间越长，就有可能继续维持关闭状态；开着的时间越长，就越有可能继续打开着。一但一个单独的输出神经元被选中，其自发聩回路就能确保克服稳定神经元的抑制。
不过，没有随机，回路就不会收敛到一个单独的输出神经元：抑制神经元权重的任一一种设置都会平等影响到所有输出神经元。Parter 解释说，你需要使用随机来打破这种对称性。
研究人员可以确定保证一个特定收敛速度最少需要多少个辅助神经元，以及给定特定数量的辅助神经元，其最快收敛速度是多少。
增加更多的收敛神经元会增加收敛速度，不过速度会有上限。比如，100 个输入神经元，两到三个收敛神经元就够了；增加一个也不会提升效率。只要一个稳定神经元就已经最优了。
不过，或许更有启发性的是，研究人员表明，包括兴奋神经元——刺激而不是抑制其他神经元放电的神经元——以及辅助神经元中的抑制神经元无法证明回路的效率。类似，任何一种没有察觉收敛神经元和稳定神经元差异的抑制神经元的安排都要比可以察觉到这一区别的安排更低效。
那么，假设进化趋于找到解决工程问题的有效解决方案，模型既告诉我们问题的答案就在大脑中，也提出了一个适于经验研究的撩人问题：真实的抑制神经元展示出类似收敛神经元和稳定神经元之间的区别了吗？
参考文献：
PAPER: Computational tradeoffs in biological neural networks: Self-stabilizing winner-take-all networks https://arxiv.org/pdf/1610.02084v1.pdf
ARCHIVE: Exploring networks efficiently http://news.mit.edu/2016/ant-colony-behavior-better-algorithms-network-communication-0713
ARCHIVE: New frontier in error-correcting codes http://news.mit.edu/2014/interactive-error-correcting-code-1002
ARCHIVE: New approach to vertex connectivity could maximize networks' bandwidthhttp://news.mit.edu/2013/new-approach-to-vertex-connectivity-could-maximize-networks-bandwidth-1224
ARCHIVE: Reliable communication, unreliable networks http://news.mit.edu/2013/reliable-communication-unreliable-networks-0806