Science子刊：人脑存在加速学习机制，算力赛过最新AI算法

即将开播：4月29日，民生银行郭庆谈商业银行金融科技赋能的探索与实践

机器学习和深度学习算法的起源，是连接大脑中神经元的突触强度的学习机制，它越来越多地影响着当代生活的几乎所有方面。

半个世纪以前，研究人员试图模仿这些大脑的功能，将神经科学和人工智能联系起来。但是，从那时起，实验神经科学并未直接推动机器学习领域的发展，两个学科一直在相互独立并行发展。

在今天发表在《科学报告》的一篇文章中，研究人员称，他们已经重建了实验神经科学和机器学习之间中断70年的桥梁。

我们大脑的高级学习机制可能会导致更高效的AI算法。图片来源：巴伊兰大学Ido Kanter教授

该研究的主要作者，巴伊兰大学物理系和多学科大脑研究中心的Ido Kanter教授说：“据信，大脑中的学习步骤通常可持续数十分钟甚至更长，而在一台计算机中，则可持续一纳秒，或者说是一百万次快一百万次。”

研究人员着手证明两个假设:一，我们总认为大脑学习非常缓慢，这可能是错误的；二，大脑可能有加速学习机制。

出乎意料的是，两个假设都被证明是正确的。尽管大脑相对较慢，但其计算能力优于典型的最新人工智能算法。

通过在神经元培养上进行新型人工神经网络实验，研究人员首先证明了增加的训练频率会加速神经元适应过程。

这项工作的主要贡献者Shira Sardi表示：“每秒观察10次相同图像的学习效果与每月观察1000次相同图像的效果一样。”

另一位贡献者Roni Vardi博士补充说：“快速重复相同的图像可将我们的大脑适应能力提高到几秒钟而不是几十分钟。大脑的学习甚至可能更快，但这已经超出了我们目前的实验限制。”

其次，研究人员展示了一种受大脑启发的新学习机制。这种机制是在人工神经网络上实现的，其中对于连续学习步骤，局部学习步长会增加

在手写数字的简单数据集MNIST上进行了测试，其成功率大大超过了常用的机器学习算法，例如手写数字识别，尤其是在提供较小型的数据集进行训练的情况下。

实验神经科学与机器学习之间连接的重建，有望在有限的训练示例下促进人工智能（尤其是超快速决策）的发展，对于人类决策，机器人控制和网络优化的许多情况同样适用。

下面，开始论文干货。

论文介绍

突触强度的改变通常持续数十分钟，而神经元（节点）的时钟速度范围约为一秒。尽管大脑相对较慢，但其计算能力优于典型的最新人工智能算法。遵循这种速度/能力悖论，我们通过实验得出基于小型数据集的加速学习机制，这些机制在千兆赫处理器上的利用有望导致超快决策。

与现代计算机不同，定义明确的全局时钟不能控制大脑的运行过程。相反，它们是相对事件时间（例如，刺激和诱发的尖峰）的函数。根据神经元计算，使用经过分支的树突树的衰减输入求和，每个神经元将异步输入电信号求和，并在达到阈值时生成短电脉冲（峰值）。每个神经元的突触强度会根据来自其他突触的相对输入时间进行缓慢调整。如果从突触中感应出信号而没有产生尖峰，则基于与来自同一神经元上其他突触的相邻尖峰的相对时序来修改其关联强度。

最近有实验证明，每个神经元都起着独立阈值单元的作用。信号通过树突树到达后，每个阈值单元都会被激活。另外，基于树突信号到达定时实验上观察到的一种新型自适应规则，这类似于当前归因于突触（连接）的慢速自适应机制。这种树突适应发生在更快的时间尺度上：大约需要五分钟，而突触修饰则需要数十分钟或更长时间。

研究过程

1.实验结果表明，适应率随训练频率的增加而增加。

在这项研究中，研究人员将神经元培养种植在添加了突触阻滞剂的多电极阵列上，这种突触阻滞剂可通过其树突细胞在细胞外刺激这个被膜片钳夹住的神经元。

通过神经元树突在细胞内刺激被研究的神经元，并为每种刺激路径生成不同的尖峰波形。更详尽解释请参阅论文原文“材料和方法”部分。

适应过程包括一个训练集：50对刺激。通过进一步测试神经元刺激的响应时间和强度是否正常，我们量化了神经元适应的效果，确定下来了应该以怎样的细胞外刺激幅度来进行研究。

神经元的正常延迟时间：1-4毫秒

为了量化初始反应，降低细胞外刺激幅度，直到未观察到可靠的诱发峰。

2.加速基于生物学启发机制的有监督的可实现学习规则。

与生物学机制的暗示相符合，随着训练频率的增加，适应过程将大大加速，

这可能意味着随时间变化的递减适应步长（等式  1）：

当前的适应步骤