新智元编译

来源：DeepMind

编译：Marvin

【新智元导读】DeepMind近日发表的最新研究提出“机器心智理论”（Machine Theory of Mind），启发自心理学中的“心智理论”，研究者构建了一个心智理论的神经网络ToMnet，并通过一系列实验证明它具有心智能力。这是开发多智能体 AI 系统，构建机器 - 人机交互的中介技术，以及推进可解释AI发展的重要一步。

心智理论（ToM; Premack＆Woodruff，1978）泛指人类能够理解自己以及他人的心理状态的能力，这些心理状态包括欲望、信仰、意图等。DeepMind的研究人员试图训练一台机器来构建这样的模型。他们设计了一个心智理论的神经网络（Theory of Mind neural network）——ToMnet，该网络使用元学习通过观察其行为来构建智能体（agent）所遇到的模型。通过这个过程，ToMnet获得了一个关于智能体的行为的强大先验模型，以及仅使用少量行为观察就能更丰富地预测智能体的特征和心理状态的能力。研究者将ToMnet应用到简单的格子环境中的智能体，表明它可以学习模拟来自不同群体的随机、算法和深度强化学习agent，并且它通过了经典的ToM任务测试，例如“Sally-Anne test”（Wimmer＆Perner，1983; Baron-Cohen et al., 1985 ）。研究者认为这个系统——智能体自主地学习如何模拟它的世界中的其他智能体——是开发多智能体AI系统，构建人机交互的中介技术，以及促进可解释AI进展的重要一步。

受人类心智理论启发的“机器心智理论”

目前，深度学习和深度强化学习取得的进展虽然令人兴奋，但也有人担心我们对这些系统的理解是不足的。神经网络通常被描述为不透明的、不可解释的黑盒。即使我们对其权重有完整的描述，也很难弄清楚它们正在利用的模式，以及它们可能出错的地方。随着AI越来越多地进入人类世界，理解它们的需求也越来越大。

让我们停下来问问：对于一个agent来说，“理解”另一个agent究竟意味着什么？作为人类，我们每天都在面对这一挑战，因为我们每天都在与潜在特征、潜在状态和计算过程都几乎完全无法访问的其他人类交流。但我们“理解”他人功能非常卓越。我们可以预测陌生人未来的行为，并推断出他们对世界的了解；我们可以规划与他人的互动，并建立高效的沟通。

对其他agent的“理解”有一个显著特点是，它们对agent的真正的底层结构几乎没有任何参考。我们人类通常不会试图去估计其他人的神经元的活动，推断他们前额皮质是怎么连接的，或者计划去与其他人的海马体地图去交互。认知心理学的一个重要观点是，我们的社会推理取决于其他人的高层次模型（Gopnik＆Wellman，1992），这些模型涉及的抽象概念并未描述所观察行为的基础的详细物理机制；相反，我们理解的是他人的心理状态，例如他们的欲望、信仰和意图。这种能力通常被描述为心智理论（ Theory of Mind）。

在这篇论文中，我们从人的心智理论中获得灵感，试图构建一个学习对其他智能体进行建模的系统。我们将其描述为“机器心智理论”（Machine Theory of Mind）。我们的目标不是要提出一种智能体行为的生成模型和反转它的算法。相反，我们关注的是观察者如何自主学习使用有限的数据为其他agent建模。这使我们的工作与以前的研究不同，以前的相关研究依赖人工的智能体模型，例如使用反向RL，贝叶斯推断，贝叶斯心智理论或博弈论。相反，我们学习智能体模型，以及如何通过 meta-learning从头开始对它们进行推理。

构建一个丰富、灵活并且高性能的机器心智理论对AI来说是一个巨大的挑战。本文的一个主要观点是，构建ToM的多数初始的挑战可能会被视为简单的学习问题，因为它们是用公式表示的。我们在这里的工作是对这些简单公式进行计算的练习。

这项工作有许多潜在的应用。学习他者的丰富模型将改进许多复杂的多智能体任务的决策制定（decision-making），特别是在需要基于模型的规划和想象的情况下。这些模型对于价值调整和灵活合作也很重要，而且很可能是未来机器道德决策的一个组成部分。它们对传播和教育学也非常重要，可能在人机交互中扮演关键角色。探索这种能力产生的条件也可以揭示人类能力的起源。最后，这些模型可能会成为人类理解人工智能的重要媒介。

最后，我们的强烈动机是使人工智能可以为人类所解释。我们在这里尝试一种新的方法：试图构建中介系统，以减少行为空间的维度，并以更易理解的形式表现它们，而不是修改agent的结构以使其内部状态暴露于人类可解释的形式。在这个角度上，对机器ToM的追求是建立机器与人类期望之间缺失的界面（missing interface）。

研究方法：元学习任务实验

我们考虑将构建心智理论作为一个meta-learning问题。在测试时，我们希望能够遇到一个我们以前从未见过的新的agent，并且它们已经有强大而且丰富的关于它们行为先验知识。此外，当我们看到这个agent在它的世界行动时，我们希望能够收集关于它的潜在特征和心理状态的数据（即形成后验），这将使我们能够改进对它们未来行为的预测。

为此，我们制定了一个meta-learning任务。我们构建了一个观察者（observer），它在每个episode中都可以看到agent的一组新的行为痕迹。观察者的目标是预测agent未来的行为。在训练过程中，观察者应该从有限的数据中快速形成有关新agent的预测。这种关于新agent的“学习”就是我们所说的meta-learning。通过这个过程，观察者还应该学习agent行为的有效先验，这些知识隐含地捕捉了训练群体中agent之间的共性。

我们引入两个概念来描述这个观察者网络的组成部分及其功能角色。我们区分了一般心智理论——网络的学习权重，它包含关于训练集中所有agent共同行为的预测，以及特定于agent的心智理论——在测试时通过观察形成的“agent embedding”，它包含了是什么使得agent的特征和心理状态与其他agent不同。这些对应于agent行为的先验和后验。

这篇论文的结构是一系列实验，这些实验针对该“机器心智理论”的网络（ToMnet）逐渐增加复杂度。这些实验展示了ToMnet的思想，以及它学习其他agent丰富模型的能力，这些模型融合了人类心智理论的典型特征，例如对错误信念的认识。

研究贡献：ToMnet学会预测和解释信念

本研究的贡献如下：

• 在3.1节，我们展示了对于简单的随机智能体，ToMnet学会了基于智能体特性的近似贝叶斯最优等级推断。

• 在3.2节，我们展示ToMnet学会了推断algorithmic agents的目标（有效执行 few-shot逆向强化学习），以及它们如何平衡成本和回报。

• 在3.3节，我们展示ToMnet学会表征不同种类的深层强化学习智能体，捕捉整个群体变异的关键因素，并形成这些智能体的抽象嵌入。我们还表明，ToMnet可以发现关于行为空间的新抽象。

• 在3.4节，我们表明，当ToMnet被训练于POMDPs中行动的深度RL智能体时，它隐含地知道这些agent可能持有关于世界的错误信念。这是人类心智理论的核心组成部分。

• 在3.5节，我们证明ToMnet可以被训练来预测agent的信念状态，并且明确地揭示了agent的错误信念。我们还表明，ToMnet可以仅从它们的行为推断出不同agent能够看到的内容，以及它们基于此倾向于相信的内容。

图1. ToMnet的架构

图2.随机智能体行为的网格世界示例

图3. 在随机智能体上训练的ToMnet

图13. 有监督的信念预测

更多细节请查阅原论文：https://arxiv.org/pdf/1802.07740.pdf

【加入社群】

新智元 AI 技术 + 产业社群招募中，欢迎对 AI 技术 + 产业落地感兴趣的同学，加小助手微信号: aiera2015_1 入群；通过审核后我们将邀请进群，加入社群后务必修改群备注（姓名 - 公司 - 职位；专业群审核较严，敬请谅解）。

此外，新智元 AI 技术 + 产业领域社群 (智能汽车、机器学习、深度学习、神经网络等) 正在面向正在从事相关领域的工程师及研究人员进行招募。

加入新智元技术社群 共享 AI + 开放平台