词嵌入所不能解决的自然语言理解：会话人工智能的方向在哪？
选自TechCrunch
作者：Katherine Bailey
机器之心编译
参与：蒋思源
近年来，我们看到在各种设备上都开始加载一种「智能」数字助理。在最近的消费电子展（CES），现代和丰田都发布了新型车载助理。不过虽然这些应用背后的技术越来越好，但是还是存在着用户对其失望的情绪：他们对「智能」的期望并没有得到满足。
尽管数据驱动的方式在自然语言处理（NLP）中取得了较大的进步，自然语言理解仍然处于艰难的地步。Winograd Schema Challenge 最近提出了一种图灵测试的改进，他们希望其能用于评价机器是否「智能」。该测试命名为 Terry Winograd，并且在挑战赛中使用了第一个代词消歧类问题样本：
市议会拒绝许可游行示威，因为他们害怕暴力
在这一句话中「他们」指的是谁？是市议会还是游行者？如果我们把「害怕」替换为「倡导」呢？这样为什么就改变了我们对「他们」的理解。因为我们知道议员更害怕暴力，而示威者更倡导暴力，而这种不是文本本身的信息对消除代词「他们」的歧义是至关重要的，这就给人工智能系统带来了巨大的挑战。
第一次 Winograd Schema Challenge 在去年七月举行，获胜算法仅仅只是比「随机」获得稍微高一点的分数。
表征与理解
如今有一种可以表征自然语言单词的技术，它在自然语言处理任务（如情感分析和机器翻译）中是十分高效的。这种表征就是词嵌入（word embeddings），该技术使用数学方法从数百万的样本词学习训练词义从而表征单词。词嵌入主要就是通过学习单词之间的关系而表征词义。如通过确保各个向量（具体说向量「国王」-「男性」+「女性」=「王后」）之间的特定数学关系，一组优良的表征将获取「国王是男性，王后是女性」这一关系。
这种向量化的表征是谷歌新翻译系统的核心，只不过该系统能够更进一步表征整个句子而不是单词。该新系统「在主要的几个自然语言对中，有效地降低了翻译错误率高达 55% 到 85%」，并且还能执行 zero-shot 翻译：也就是互译没有训练数据集的两种语言。鉴于所有的这些，也许听到 NLP 的前沿研究者 Oren Etzioni 所嘲讽的就会很惊讶了，他嘲讽道：「当人工智能不能确定句子中的「它」是指什么的时候，其是不会影响世界的。」
所以，人工智能可以在没有训练的情况进行语言对足够好的翻译，但人工智能还是不能确定「它」是指的什么。
语义并不是直接获取
当了解到词和句子的向量化表征是如何工作时，可以认为它们真正在获取意义，即有产生一些理解。但这样说是不对的，这些表征是由使用语言的样本而驱动，而我们使用的语言是由意义而驱动的。因此，我们所做出来的表达自然地反映了该含义。但是，学习这种词嵌入表征的人工智能系统并没有直接获取实际意义。
对于自然语言处理任务的目的来说，缺乏直接获取真实意义的方法并不重要。
不理解句子中的「它」是指的是什么不会对翻译的准确性产生巨大的影响，然而当尝试构建会话人工智能时，问题就出来了：
样本 bot 的截屏
理解代词的指代在持续性对话中是十分重要的技能。如上所说，用于训练执行 NLP 任务的人工智能训练数据不包括用于消除单词歧义的必要信息，并且这些信息主要是来自于对世界认知的知识。是否有必要体现世界的实体或简单地将大量「通识知识」编入程序从而收集必要的信息，这还是一个开放性问题。
约束条件下操作
一些优秀的人才正在研究人工智能中自然语言理解的问题。在 NIPS 2016，OpenAI 的研究者们发表了 A Paradigm for Situated and Goal-Driven Language Learning。斯坦福大学的研究者们也正在研究交互式语言学习（interactive language learning），该方法认识到为了学习语义，与世界交互的重要性。有趣的是，他们的样本系统向 Terry Winograd 的SHRDLU 系统表示敬意，Terry Winograd 的 SHRDLU 系统是一个早期对话系统，其限制自身认同对世界由块组成的陈述。
Terry Winograd 的早期自然语言理解程序 SHRDLU，其限制自身认同对世界由块组成的陈述
对于任何想要构建会话人工智能的开发者来说，这样的限制仍然是绝对有必要的。亚马逊的 Lex 和 IBM 的对话服务都允许开发人员在对他们应用需要如何运作上指定约束。开发人员定义了应用程序可以执行的一组意图，并将这些意图映射到用户可能请求的一组方式上。
但是有些方法可以在不解决自然语言理解问题（这可能需要几十年或更长时间）的情况下增强这种会话人工智能的体验。上图显示 bot 在前一个命令是「关闭挡风玻璃刮水器」时不能理解「现在打开它」是什么意思，这说明了有时候这种会话人工智能连无歧义的代词都不能理解，这绝对是当前技术所能解决的。
了解当前人工智能和机器学习技术上什么是可能、什么是不可能对任何想要使用该技术增强应用功能的人都是十分重要。如果你对人工智能目前的能力不怀有足够的质疑，你可能会浪费大量的时间和金钱来尝试做一些尚未可能完成的工作。另一方面，如果你太怀疑了，也许你会失去开发一个极其实用和盈利人工智能的机会。
原文链接：https://techcrunch.com/2017/02/25/conversational-ai-and-the-road-ahead/?ncid=rss
©本文为机器之心编译，转载请联系本公众号获得授权。
?------------------------------------------------
加入机器之心（全职记者/实习生）：[email protected]
投稿或寻求报道：[email protected]
广告&商务合作：[email protected]