【新智元导读】微软今天宣布其研发的机器翻译系统首次在通用新闻翻译的汉译英达到了人类专业水平，超越业余译者，实现了自然语言处理里程碑突破。

由微软亚洲研究院与雷德蒙研究院的研究人员组成的团队今天宣布，其研发的机器翻译系统在通用新闻报道的中译英测试集上，达到了人类专业译者水平。这是首个在新闻报道的翻译质量和准确率上媲美专业译者的翻译系统。

微软技术院士，负责微软语音、自然语言和机器翻译工作的黄学东博士表示，这是自然语言处理领域的一项里程碑式的成就。“这是我们的情怀，是非常有意义的工作，” 黄学东告诉新智元：“消除语言障碍，让人们能更好地沟通，非常有意义，值得我们多年来不断为此付出努力。”

微软技术院士黄学东

黄学东骄傲地说，2015 年微软率先在图像识别上在 ImageNet 数据集达到人类水平，2016 年在 Switchboard 对话语义识别达到人类水平，2017 在斯坦福问答数据集 SQuAD 上达到人类水平，今天又在机器翻译上达到人类水平，一路走来，微软的进步激动人心，“这是我们共同的成就，我们是站在同行的肩膀上往上走”。

黄学东表示，微软语音和 NLP 组在成立时，便立下了要在两年后将机器翻译做到人类专业水平的目标。如今，这一目标提前实现，“除了计算力的大幅提高，深度学习方法的提高，我们还结合了以前在 Switchboard 上取得的经验，数据也做了很多整理，比如去除低质量的训练数据，等等。” 黄学东说。

“这既是技术上的突破，也是工程上的突破，是技术和工程的完美结合，只有把过程中的每一件事情都做好，才能得到这样的结果。”

里程碑式突破：首个媲美人类专业水平的机器翻译系统

这次微软的翻译系统是在数据集 WMT-17 的新闻数据集 newstest2017 上取得了上述成果。WMT 是机器翻译领域的国际顶级评测比赛之一。WMT 数据集也是机器翻译领域一个公认的主流数据集。其中，newstest2017 新闻报道测试集由产业界和学术界的合作伙伴共同开发，包括来自新闻评论语料库的约 332K 个句子对，来自联合国平行语料库的 15.8M 个句子对，以及来自 CWMT 语料库的 9M 个句子对。

虽然研究人员只进行了汉译英的测试，但黄学东表示，英译汉结果也应该并无不同。“从技术上说，汉译英和英译汉是相同的，只要有足够的数据。”

为了确保翻译结果准确且达到人类的翻译水平，微软研究团队还邀请了双语语言顾问，将微软的翻译结果与两个独立的人工翻译结果进行了比较评估（全部盲测）。黄学东告诉新智元：“当机器翻译质量很差的时候，使用 BLUE 评分还行，但是当机器翻译质量提高以后，就需要靠人类来评价。”

具体说，当 100 分是标准满分时，微软的系统得分 69.9，专业译者 68.6，而众包翻译得分为 67.6。

完整评估结果

机器翻译提前 7 年超越业余译者，人工智能再下一城

机器翻译是科研人员攻坚了数十年的研究领域，曾经很多人都认为机器翻译根本不可能达到人类翻译的水平。

2017 年中旬，牛津大学面向机器学习研究人员做了一次大规模调查，调查的内容是他们对 AI 进展的看法。这些研究人员预测，未来 10 年，AI 将在许多活动中超过人类，其中翻译语言是到 2024 年，具体预测见下表：

微软的这次突破，将机器翻译超越人类业余译者的时间，提前了整整 7 年，大大超出了 ML 研究人员的预想。

虽然此次突破意义非凡，但研究人员也提醒大家，这并不代表人类已经完全解决了机器翻译的问题，只能说明我们离终极目标又更近了一步。微软亚洲研究院副院长、自然语言计算组负责人周明表示，在 WMT17 测试集上的翻译结果达到人类水平很鼓舞人心，但仍有很多挑战需要我们解决，比如在实时的新闻报道上测试系统等。

微软机器翻译团队研究经理 Arul Menezes 表示，团队想要证明的是：当一种语言对（比如中 - 英）拥有较多的训练数据，且测试集中包含的是常见的大众类新闻词汇时，那么在人工智能技术的加持下机器翻译系统的表现可以与人类媲美。

突破当前NMT范式局限，新闻汉英翻译性能再上一个数量级

在这篇有 24 位作者的论文《机器翻译：中英新闻翻译方面达到与人类媲美的水平》（Achieving Human Parity on Automatic Chinese to English News Translation ）中，作者描述了他们为新闻汉英翻译任务在规模数据集上实现人类水平所作的努力，表示他们解决了当前NMT 范式的一些限制。

本研究的主要贡献是：

• 我们利用翻译问题的对偶性（duality），使模型能够从源语言到目标语言（Source to Target）和从目标语言到源语言（Target to Source）这两个方向的翻译中学习。同时，这允许我们同时从有监督和无监督的源数据和目标数据中学习。具体而言，我们利用通用的对偶学习（dual learning）方法，并引入联合训练（Joint Training）算法，通过在一个统一的框架中反复提高从源语言到目标语言翻译和从目标语言到源语言翻译的模型，从而增强单语源和目标数据的效果。

• NMT 系统从左到右自动回归解码，这意味着在按顺序生成输出期间，之前的错误将被放大，并可能误导后续生成的结果。这只能部分通过波束搜索（beam search）进行补救。我们提出了两种方法来缓解这个问题：推敲网络（Deliberation Networks）是一种基于双路解码来优化翻译的方法；以及在两个 Kullback-Leibler（KL）散度正则化项上的新训练目标，鼓励从左到右和从右到左的解码结果变得一致。

• 由于 NMT 非常容易受到嘈杂训练数据、数据中的罕见事件以及总体训练数据质量的影响，论文还讨论了数据选择和过滤的方法，包括跨语言句子表示。

• 最后，我们发现我们的系统是完全互补的，因此可以从系统组合中获益很多，最终实现了机器翻译达到人类水平的目标。

在这个工作中，我们 source-to-target 和（Zh→En）来表示中翻英; target-to-source 和（En→Zh）来表示英翻中。

四大技术加持，神经机器翻译将成今后机器翻译的绝对主流

虽然学术界和产业界的科研人员致力于机器翻译研究很多年，但近两年深度神经网络的使用让机器翻译的表现取得了很多实质性突破，翻译结果相较于以往的统计机器翻译结果更加自然流畅。为了能够取得中 - 英翻译的里程碑式突破，来自微软亚洲研究院和雷德蒙研究院的三个研究组，进行了跨越中美时区、跨越研究领域的联合创新。

其中，微软亚洲研究院机器学习组将他们的最新研究成果——对偶学习（Dual Learning）和推敲网络（Deliberation Networks）应用在了此次取得突破的机器翻译系统中。其中，对偶学习利用的是人工智能任务的天然对称性。当我们把训练集中的一个中文句子翻译成英文之后，系统会将相应的英文结果再翻译回中文，并与原始的中文句子进行比对，进而从这个比对结果中学习有用的反馈信息，对机器翻译模型进行修正。

而推敲网络则类似于人们写文章时不断推敲、修改的过程。通过多轮翻译，不断地检查、完善翻译的结果，从而使翻译的质量得到大幅提升。“我们在深度学习和自然语言这两者中间找到了一个平衡点，我们想通过对机器翻译的研究，从自然语言的角度对机器学习做进一步的理解，找到一些直觉，再通过这个直觉反过来影响机器学习研究的路线，走出盲目尝试的状态。” 微软亚洲研究院副院长、机器学习组负责人刘铁岩说。

那研究人员从推敲网络中获得的直觉是什么呢？他们发现，人在做翻译的时候，在看见或听完源语言后，脑子里会形成一个观点，这其实就是编码的过程。但是，我们真正把这句话当成目标语言讲出来，实际上是三思而后行的。我们不会一个字一个字往出蹦，我们会先酝酿一下要怎么讲，如果是文字翻译，还可能不断地修改，让语句更加通顺或者优美。

“我们常常说，人会做推敲的事情，是‘僧敲月下门’还是‘僧推月下门’，要琢磨琢磨，上下文关系用哪个字更好，如何在一个机器学习的模型中将这种推敲过程体现出来，就是推敲网络所要去尝试的一个点。” 刘铁岩告诉新智元。

推敲，也就是在解码器，或者说在文本生成的过程多做点文章，把人的一些直觉放进去。“在我们的 DeliberationNet 里面，解码器是有多层的，解码器先做一遍，可能翻译得不太好，但从头到尾翻译完了，这句翻译会再扔给下一个解码器再做一遍，这个过程可以不断反复，不停地去修改之前翻译的完整结果，这其实就在做推敲。我们发现，这样推敲后的结果比只过一次要好很多，多过一次时间代价会增多，但是结果会更好。”

微软亚洲研究院副院长、机器学习组负责人刘铁岩

周明带领的自然语言计算组多年来一直致力于攻克机器翻译，这一自然语言处理领域最具挑战性的研究任务。周明表示，“由于翻译没有唯一的标准答案，它更像是一种艺术，因此需要更加复杂的算法和系统去应对。”

自然语言计算组基于之前的研究积累，在此次的系统模型中增加了另外两项新技术：联合训练（Joint Training）和一致性规范（Agreement Regularization），以提高翻译的准确性。联合训练可以理解为用迭代的方式去改进翻译系统，用中英翻译的句子对去补充反向翻译系统的训练数据集，同样的过程也可以反向进行。一致性规范则让翻译可以从左到右进行，也可以从右到左进行，最终让两个过程生成一致的翻译结果。

微软亚洲研究院副院长、自然语言计算组负责人周明

这次使用的技术，从对偶学习（Dual Learning）、推敲网络（Deliberation Network）到一致性规范（Agreement Regularization），都属于神经机器翻译（NMT）方法。而黄学东也认为，今后的机器翻译领域，NMT 也将成为绝对主流。“相比统计机器翻译，神经机器翻译有一个很大的提高，而这次我们新的系统，相比普通的神经机器翻译，又有一个很大的提高。”

黄学东说：“我们这次的系统是把很多不同的机器翻译系统组合到一起，这些系统每一个都能独立工作，输出结果，最终，我们再将这些结果综合起来，输出一个最好的结果。”

没有 “正确的” 翻译结果，深度学习 NLP 掌握着实现强人工智能的钥匙

对于语音识别等其它人工智能任务来说，判断系统的表现是否可与人类媲美相当简单，因为理想结果对人和机器来说完全相同，研究人员也将这种任务称为模式识别任务。

然而，机器翻译却是另一种类型的人工智能任务，即使是两位专业的翻译人员对于完全相同的句子也会有略微不同的翻译，而且两个人的翻译都不是错的。那是因为表达同一个句子的 “正确的” 方法不止一种。 周明表示：“这也是为什么机器翻译比纯粹的模式识别任务复杂得多，人们可能用不同的词语来表达完全相同的意思，但未必能准确判断哪一个更好。”

复杂性让机器翻译成为一个极有挑战性的问题，但也是一个极有意义的问题。刘铁岩认为，我们不知道哪一天机器翻译系统才能在翻译任何语言、任何类型的文本时，都能在 “信、达、雅” 等多个维度上达到专业翻译人员的水准。不过，他对技术的进展表示乐观，因为每年微软的研究团队以及整个学术界都会发明大量的新技术、新模型和新算法，“我们可以预测的是，新技术的应用一定会让机器翻译的结果日臻完善。”

研究团队还表示，此次技术突破将被应用到微软的商用多语言翻译系统产品中，从而帮助其它语言或词汇更复杂、更专业的文本实现更准确、更地道的翻译。此外，这些新技术还可以被应用在机器翻译之外的其他领域，催生更多人工智能技术和应用的突破。

黄学东认为，深度学习最激动人心的地方在于，它能够学会自然语言内部的 embedded feature，把语言的结构，语义结构和语义的表示学习出来，再反馈到系统，从而实现自然语言理解的突破。

“机器学习需要很多数据，NLP 没有很多标注的数据，把表示学习出来，还能推广到到其他系统。” 黄学东说：“NLP 掌握着今后实现强人工智能的钥匙。”

延伸阅读：

对偶学习（Dual Learning）：对偶学习的发现是由于现实中有意义、有实用价值的人工智能任务往往会成对出现，两个任务可以互相反馈，从而训练出更好的深度学习模型。例如，在翻译领域，我们关心从英文翻译到中文，也同样关心从中文翻译回英文；在语音领域，我们既关心语音识别的问题，也关心语音合成的问题；在图像领域，图像识别与图像生成也是成对出现。此外，在对话引擎、搜索引擎等场景中都有对偶任务。

一方面，由于存在特殊的对偶结构，两个任务可以互相提供反馈信息，而这些反馈信息可以用来训练深度学习模型。也就是说，即便没有人为标注的数据，有了对偶结构也可以做深度学习。另一方面，两个对偶任务可以互相充当对方的环境，这样就不必与真实的环境做交互，两个对偶任务之间的交互就可以产生有效的反馈信号。因此，充分地利用对偶结构，就有望解决深度学习和增强学习的瓶颈——训练数据从哪里来、与环境的交互怎么持续进行等问题。

论文地址：https://papers.nips.cc/paper/6469-dual-learning-for-machine-translation.pdf

对偶无监督学习框架

推敲网络（Deliberation Networks）：“推敲”二字可以认为是来源于人类阅读、写文章以及做其他任务时候的一种行为方式，即任务完成之后，并不当即终止，而是会反复推敲。微软亚洲研究院机器学习组将这个过程沿用到了机器学习中。推敲网络具有两段解码器，其中第一阶段解码器用于解码生成原始序列，第二阶段解码器通过推敲的过程打磨和润色原始语句。后者了解全局信息，在机器翻译中看，它可以基于第一阶段生成的语句，产生更好的翻译结果。

论文地址：https://www.microsoft.com/en-us/research/publication/deliberation-networks-sequence-generation-beyond-one-pass-decoding/

推敲网络的解码过程

联合训练（Joint Training）：这个方法可以认为是从源语言到目标语言翻译（Source to Target）的学习与从目标语言到源语言翻译（Target to Source）的学习的结合。中英翻译和英中翻译都使用初始并行数据来训练，在每次训练的迭代过程中，中英翻译系统将中文句子翻译成英文句子，从而获得新的句对，而该句对又可以反过来补充到英中翻译系统的数据集中。同理，这个过程也可以反向进行。这样双向融合不仅使得两个系统的训练数据集大大增加，而且准确率也大幅提高。

论文地址：https://arxiv.org/pdf/1803.00353.pdf

联合训练：从源语言到目标语言翻译（Source to Target）P(y|x) 与从目标语言到源语言翻译（Target to Source）P(x|y)

一致性规范（Agreement Regularization）：翻译结果可以从左到右按顺序产生，也可以从右到左进行生成。该规范对从左到右和从右到左的翻译结果进行约束。如果这两个过程生成的翻译结果一样，一般而言比结果不一样的翻译更加可信。这个约束，应用于神经机器翻译训练过程中，以鼓励系统基于这两个相反的过程生成一致的翻译结果。

一致性规范：从左到右

和从右到左

相关资料：

• 阅读研究论文：《机器翻译：中英新闻翻译方面达到与人类媲美的水平》

• 试用该系统

• 试用微软翻译工具（Microsoft Translator）

• 微软推出Presentation Translator演讲实时翻译字幕功能

• 微软推出中文学习AI助手Microsoft Learn Chinese