纽约大学发现新的言语工作记忆结构，可用于人工智能研究

选自NYU

机器之心编译

参与：杜夏德、李泽南、曹瑞

纽约大学的一项新研究发现，在言语工作记忆中，我们用来存储和处理信息的神经结构比我们之前所理解的要复杂的多，这种结构的发现会影响到人工智能系统的建立。

人类用于言语工作记忆（vWM）中储存和处理信息的神经结构要比以前我们所理解的更加复杂，纽约大学的研究者们刚刚在Nature Neuroscience上发表了他们的新研究，这一发现对人工智能系统例如语音翻译工具的构建有着重要的意义。

这项研究认为，在言语记忆工作中的信息处理过程包含了大脑中两个不同的网络，而不是以往认为的一个，这个发现可能会对打造语音翻译工具这样的人工智能系统产生影响。

「我们的研究结果显示，当人类在思维中处理使用语音和语言信息时，至少有两个大脑网络是活跃的，」纽约大学神经科学副教授Bijan Pesaran说，他是这篇论文的作者之一。

过去的研究强调了单一的「中央执行机构」 如何监督存储在记忆工作的操作（manipulation）信息。据Pesaran的观察，这是一个非常重要的假设，因为目前的复制人类语音的人工智能系统通常都假设言语工作记忆中的计算都由一个单独的中心网络负责。

「人工智能需要尽量模仿人类， 」Pesaran说。「通过更好的理解人脑的运行机制，我们可以提出更多提升人工智能系统的方法。我们的研究暗示了我们需要构建带有多个工作记忆网络的人工智能系统。」

本文的第一作者是Greg Cogan，他曾经是纽约大学的一名博士后，现在来到了杜克大学；其他共同作者包括纽约大学Langone医学中心综合性癫痫中心主任Orrin Devinsky教授，纽约大学Langone神经外科系副教授Dan Friedman，和纽约大学神经系统助理教授Lucia Melloni。

该研究旨在对这种思考、规划和创造性推理至关重要的工作记忆形式进行研究，并涉及了记忆中的语言形式转换，以及形成语言所需的信息。

研究人员分析了耐药性颠病人类患者的治疗过程，对病人们的大脑活动进行了监测。具体来说，他们探究了这些病人在倾听和说话时大脑中的深层神经活动，尝试解答为什么病人的反应会出现一定时间的延迟。科学家们在实验中要求研究对象使用研究人员提供的规则，将他们听到的语音用自己的话复述出来。例如，有时患者会被告知要原文复述他们听到的内容，而在其他时间，研究人员指示患者听到声音后用不同的方式复述内容。

研究人员将每一位患者大脑当中的神经活动进行了解码，患者采用了研究人员提供的规则，将他们听到的东西转化为所需要说的话。结果表明抑制工作记忆当中的操纵信息涉及到了两个大脑网络的运作。一个网络解码了指导患者表达的原则，也就是规则网络（the rule network）。令人惊讶的是，规则网络没有解码出怎样将听到的内容转化为表达内容的细节。使用这个规则将声音转化为言语的过程仅需要一秒钟，这就是转化网络（transformation network）。这个网络当中的活动能够跟踪输入（听到的内容）是如何渐渐转化为输出（所说的话）的。

研究者同时表示，将你听到的一种语言进行翻译，再用另外一种语言表达出来，其中涉及到了一些类似的抽象原则。具有言语工作记忆（vWM）障碍的人学习一门新语言很困难。现代的智能机器在学习语言当中也存在着一些问题。

Pesaran说：「创造更加智能系统的唯一途径就是对人类大脑和思维的运作进行更加全面的了解。」「人类工作记忆障碍的诊断和治疗涉及到心理学鉴定。以此类推，机器心理学可能也会在将来的某一天对机器智能障碍的诊断和治疗有帮助。这项研究对这种独特的人类智能、言语工作记忆形式进行了研究，提出了让人工智能进一步发展的新方向。」

• 论文：Manipulating stored phonological input during verbal working memory

摘要：言语工作记忆（vWM）包含了音系感知输入中的存储和操纵信息。对 vWM 目前最具影响力的理论认为，全部处理任务由一个中央执行机构执行，信息存储则由两个互相联系的系统执行：语音输出是由可获取基于声音信息的音位输入缓冲器和和发音排练系统来控制的。然而，目前仍没有理论解释语言在大脑中的神经活动是如何被编码处理的。

在本研究中，我们在受试者处理语音时的脑神经活动中成功读取了 vWM 内容。正如我们所猜测的，我们找到了包含语音感觉和发音运动表示的存储系统。然而，意料之外的是，我们发现这一处理过程不是由单一的中央处理机构进行，而是由两个任务不同的系统协作完成的。因此，我们认为，中央执行机构是由多个用于处理语音输入和形成语音输出的 vWM 子系统组成的。