DeepMind：把人工智能和神经科学结合起来，实现良性循环

选自DeepMind

作者：Christopher Summerfield等

机器之心编译

参与：Nurhachu Null、路雪

人工智能发展早期的许多启发来自于神经科学，神经科学也从人工智能研究者的理论和模型中受益良多。将二者结合起来，互相学习，互相汲取灵感，形成良性循环，或对二者的持续发展产生积极影响。

人工智能的最新进展引人注目。人工系统在 Atari 视频游戏、古老的棋类游戏围棋以及扑克游戏中已经优于人类专业玩家。它们还可以生成与人类无差别的笔迹和语音、在多种语言之间翻译，甚至将你的假期照片用梵高的风格进行风格重塑。

这些进步可以归结为几个因素，包括新型统计方法的使用和计算机计算能力的增长。但是我们最近在 Neuron 杂志发表的观点认为，有一个因素经常被忽视，即实验神经科学和理论神经科学的贡献。

心理学和神经科学在人工智能的发展史上起着关键作用。人工智能的奠基人物诸如 Donald Hebb、Warren McCulloch、Marvin Minsky 以及 Geoff Hinton，最初都是被想要理解人脑工作原理的愿望所激励。事实上，在整个 20 世纪末期，大部分开发神经网络的关键工作并没有发生在数学或者物理实验室，而是在心理学和神经生理学系。

正因为如此重要，将神经科学领域和人工智能领域结合起来的需求比以往任何时候都更加迫切。

在 DeepMind，我们认为，尽管这两个领域都得到了快速发展，但是研究人员不应该忽视这个观点。我们督促神经科学和人工智能领域的研究者们去寻求一种能够让知识自由流动的共同语言，让知识的自由流动来推动这两个领域持续向前发展。

对人工智能研究来说，从神经科学汲取灵感是非常重要的，我们认为有两个原因：第一，神经科学能够帮助验证已经存在的人工智能技术。简而言之，如果我们发现我们的一种人造算法能够模仿人脑中的某个功能，这表明我们的方法或许在正确的方向上了。第二，在构建人造大脑的时候，神经科学可以为新型的算法和结构提供丰富的灵感来源。历史上，传统的人工智能方法都是由基于逻辑的方法和基于理论数学的模型所主导。我们认为神经科学可以通过识别可能对认知功能很关键的生物计算类别对此进行补充。

以一个最近在神经科学领域的重要发现为例：离线体验「回放」的发现。在睡眠或者安静休息的时候，生物大脑会「回放」由早期活跃时段生成的神经活动。例如，当老鼠穿过迷宫的时候，「地方」单元随着老鼠的运动会激活。在休息的时候，在老鼠的大脑中观察到了相同的神经活动序列，貌似老鼠会在精神上重新想象它之前的活动，并用它们去优化未来的行为。事实上，对回放的干扰会损害它们后来进行同样任务时的表现。

「回放」是 DQN 的关键元素，DQN 是一个通用智能体（general-purpose agent），它能够持续地调整自己的行为来适应新的环境

乍一看，构建一个需要「睡眠」的人工智能体似乎是反直觉的——毕竟，它们应该在它们的程序员睡觉之后在一个可计算的问题上耗很多时间。但是这个原则却是我们的 deep-Q Network（DQN）的关键部分，这是一个仅仅依靠原始像素和分数作为输入，通过学习能够把 Atari 2600 游戏掌握到超过人类的水平的算法。DQN 通过存储一个它能够离线「回顾」的训练数据的子集来模仿「经验回放」，这使得它能够从过去的失败和成功中学习到新的东西。

这样的成功给了我们信心，神经科学早已成为人工智能思想的重要源泉。展望未来，我们相信神经科学在帮助我们处理一些仍未解决的问题上会变得不可或缺，例如高效学习、理解物理世界和想象力。

想象力对人类和动物来说一个十分重要的功能，想象力允许我们在仍未发生的情况下就可以规划未来，当然这是有代价的。举个简单的例子，比如规划一个假期。为了做到这件事，我们要利用我们关于这个世界的知识或者「模型」，并且用它来及时地推进或者评估未来的状态。这允许我们计算需要走的路径，或者打包在晴天穿的衣服。尽管人类神经科学的前沿研究正在开始揭示支撑这种思维的计算系统和机制，但是很多这种新的理解尚未在人工模型中得到应用。

神经科学领域和人工智能领域有一个漫长且相互交织的历史

当下人工智能研究的另一个重要挑战就是迁移学习。为了能够高效应对新情况，人工智能体需要在现有知识的基础上构建作出明智决策的能力。人类早已精于此道：人可以开汽车、使用笔记本或者能够主持一个会议，此外，在面对不熟悉的车辆、操作系统或者社会环境的时候人类通常也能够有效应对。

朝着理解这种情况如何发生在人工智能系统中这个目标，研究者现在开始迈出了第一步。例如，一种叫做「渐进网络（progressive network）」的新型网络结构能够利用在一个视频游戏中习得的知识去学习另外一个视频游戏。在从仿真机器臂向现实手臂迁移知识的场景中也使用相同的结构，这大大地缩短了训练时间。有趣的是，这些网络与人类的连续任务学习模型有某些相似之处。这些联系表明未来的人工智能研究非常有可能从神经科学的工作中学习到一些东西。

但是这种知识的交换不可能是单向的，神经科学也能够从人工智能研究中获益。以强化学习为例——强化学习是当下人工智能研究的核心方法之一。尽管强化学习的原始思想来源于心理学中的动物学习理论，但是它是由机器学习研究者来开发和阐述的。这些思想又回馈神经科学的研究，帮助我们理解神经生理现象，例如哺乳动物基底神经节中的多巴胺神经元的放电特性。

人工智能研究者从神经科学中汲取思想来建立新的技术，神经科学家从人工智能体的行为中学习，以更好地解释生物大脑——如果这两个领域要持续地借助彼此的思想发展，并创建一个良性循环，那么这种一来一往的启发是必须的。事实上，由于近期的种种进展，例如光遗传学，它允许我们精确地测量和操纵脑活动，产生大量能够使用机器学习工具进行分析的数据。

所以我们认为，把智力转换为算法并将其与人类大脑进行比较现在是非常关键的。这不仅能够加强我们对开发人工智能这种有望创造新知识并且推动科学发现的工具的追求，而且还有可能帮助我们更好地理解人类大脑内部到底发生着什么。这有可能揭示神经科学中的一些奥妙，例如，创造力、梦，甚至意识的本质。正因为如此重要，将神经科学领域和人工智能领域结合起来的需求比以往任何时候都更加迫切。