FB ICLR 2017研究成果概述，对话研究的创新与优势

选自Facebook

作者：Alexandre Lebrun等

参与：李泽南、微胖

深度学习盛会 ICLR 2017 正在法国的土伦举行，Facebook 在大会前夕对人工智能实验室 FAIR 近期在对话系统上的研究进行了梳理，并列出了即将在大会上发表的 7 篇论文，让我们先睹为快。

建立有效的对话系统

在 Facebook AI Research（FAIR），让机器理解自然语言对话的内容是一项雄心勃勃的长期人工智能研究目标。真正有效的对话系统将会成为有效的辅助技术——其中会包含通过自然语言与人类进行交互的聊天系统。对话系统可以帮助用户更好地理解周遭的世界，更有效地与他人进行交流，消除沟通不畅的问题。随着网络世界的不断扩大，研究和开发这类技术正在变得越来越重要。

让机器理解和解释对话内容并不是一种全新的尝试。在过去 20 年中，很多人曾试图构建一台可以与人自然对话，或可以从人类那里学会对话的机器。这些技术和工程结合的系统各自只适用于很小的一部分领域，使用预编程内容对需求产生回应。

随着近年来机器学习的兴起，让人工智能与人类使用自然语言展开交谈的梦想正变得越来越接近现实。这一展望也得到了学界和业界的共同关注。

然而，技术的发展并没有人们想象得那么快。今天的大多数对话系统仍然是脚本化的：其中的自然语言理解模块或许是基于机器学习的，但它们生成的回答仍然基于编程中的 if/then——或其他已经写好的规则。尽管目前的技术相比过去已经有了很大改观，但其本质仍然是一种基于大容量数据库的反应机制。

解决两端挑战

使用自然语言与聊天机器人进行顺畅的对话目前仍然是一个挑战，仍需要一系列技术突破。在 FAIR，我们希望从两端同时着手解决这些问题：从通用人工智能和机器在交流中的推理能力，到对话系统面临的实际问题（从已公开发布的聊天机器人在运行中收集到的问题）。Facebook 的优势在于同时能够探究这两种角度的多样性——从致力于长远角度的 CommAI initiative 到面向短期应用方向的 FastText 和 Facebook M。所有这些，结合 Facebook 人工智能团队的强大实力，通过深度学习的自然语言处理、强化学习、计算机视觉和计算机工程能力，这家公司正在打造先进的自然语言处理系统。

FAIR 在对话系统中的研究有着坚实的基础：

• 强大的基线：用于自然语言处理的先进学习系统应该能够有效提升性能（较之更加传统的办法）。为此，我们打造了 FastText，旨在使用相对简单、容易理解的技术实现最好的结果。

• （更加）清楚的评估：评估对话系统比较困难。在 FAIR，我们的办法是通过改善工具实现这一目标。在 ICLR 2017 大会上，我们会与研究社区分享这方面的成果和工具。包括用来训练和评估推理模型的 CommAI 环境，可用来测试端到端对话模型的 bAbI 任务。谢谢 Facebook M 的协作，我们已经利用真实产品条件下的模型，测试了这些工具。

• 开放研究：FAIR 在会议以及研究发表网站上几乎全部公开了所有自己的研究。类似的，代码和数据，包括上面谈到的两个评估项目已经开源。正如 FAIR 研究工作的多样性，整个人工智能研究社区的研究也存在广泛多样性。我们相信，开放对话以及共享工具和学习将会让整个行业取得更大的进步。

共享带来进步

在这次 ICLR 大会上，我们将展示 7 篇论文，这些论文将会例证 FAIR 对话研究的质量、创新之处以及广度。Lazaridou 以及 CommAI 提出的方向——打造能够发现和使用基础对话技术的系统，是迈向通用人工智能的第一步。Li 的两篇论文研究了端到端对话系统通过使用进行中的对话来提升系统自身性能的办法。Bordes 介绍了一种在面向目标的场景下，用于测试端到端对话系统的 bAbI 的对话任务。我们也提交了两篇关于机器阅读的论文，作者是 Grave 和 Henaff，他们的研究推进了机器文本理解。

ICLR 2017 上出现的相关研究

[1]「CommAI: Evaluating the First Steps Towards a Useful General AI」M Baroni, A Joulin, A Jabri, G Kruszewski, A Lazaridou, K Simonic, T Mikolov

[2]「Dialogue Learning With Human-In-The-Loop」J Li, AH Miller, S Chopra, MA Ranzato, J Weston

[3]「Improving Neural Language Models with a Continuous Cache」E Grave, A Joulin, N Usunier

[4]「Learning End-to-end Goal-oriented Dialog」A Bordes, YL Boureau, J Weston

[5]「Learning Through Dialogue Interactions」J Li, AH Miller, S Chopra, MA Ranzato, J Weston

[6]「Multi-Agent Cooperation and the Emergence of (Natural) Language」A Lazaridou, A Peysakhovich, M Baroni

[7]「Tracking the World State with Recurrent Entity Networks」M Henaff, J Weston, A Szlam, A Bordes, Y LeCun