深度学习果实即将摘尽？11位大牛谈AI的当下（2018）与未来（2019）

KDnuggets 向 11 位来自学界和业界不同领域的机器学习和 AI 专家咨询，以期总结出今年的业内进展并预测明年的关键趋势。

KDnuggets 分别获得了来自 Anima Anandkumar、Andriy Burkov、Pedro Domingos、Ajit Jaokar、Nikita Johnson、Zachary Chase Lipton、Matthew Mayo、Brandon Rohrer、Elena Sharova、Rachel Thomas 和 Daniel Tunkelang 的回答。

这些专家挑选出的关键词包括深度学习的进步、迁移学习、机器学习的局限性、自然语言处理不断变化的现状等等。

1. Anima Anandkumar：英伟达的 ML 研究主任和加州理工学院的 Bren 讲座教授。

(1) 2018 年机器学习和人工智能的主要进展是什么?

「深度学习容易获得的果实几乎已经摘尽」(Low hanging fruits of deep learning have been mostly plucked)。

深度学习的焦点开始从标准的监督学习转向更具挑战性的机器学习问题，如半监督学习、域适应、主动学习和生成模型。GAN 继续受到研究人员的欢迎，他们正在尝试更加艰巨的任务，如照片级图像生成(BigGAN)和视频到视频合成。人们开发了替代的生成模型(例如，神经渲染模型)以在单个网络中组合生成和预测以帮助半监督学习。研究人员将深度学习的应用扩展到许多科学领域，如地震预测、材料科学、蛋白质工程、高能物理和控制系统。在这些情况下，领域知识和约束与学习相结合。例如，为了改善无人机的自主着陆，我们可以学习地面效应模型以校正基础控制器并保证学习稳定，这在控制系统中很重要。

(2) 预测：

「人工智能将把模拟和现实联系起来，变得更安全，更具物理真实性。」

我们将看到人们开发新的域适应技术，以便将知识从模拟无缝迁移到现实世界。使用模拟将有助于我们克服数据稀缺性并加快新领域和新问题的学习。使 AI 从模拟到实际数据(Sim2real)将对机器人技术、自动驾驶、医学成像、地震预报等产生重大影响。模拟是解决自动驾驶等安全关键应用中所有可能情况的好方法。内置于复杂模拟器中的知识将以新颖的方式使用，使 AI 更具物理意识、更强大，并能够推广到新的场景。

2. Andriy Burkov：Gartner 机器学习团队的负责人。

这是我作为一名从业者的看法，而不是 Gartner 基于研究的官方声明。

(1) 2018 年机器学习和人工智能的主要发展是什么?

TensorFlow 在学术界输给了 PyTorch。有时谷歌的巨大影响力和能力可能会使市场偏向次优的方向，因为 MapReduce 和随后的 hadoop 狂热已经导致了这种情况。

Deepfakes(以及相似的语音转换模型)粉碎了最值得信赖的信息来源：视频片段。几十年前我们不再相信印刷文字，但直到最近，视频的可信度还是不可动摇。

强化学习以深度学习的形式回归是非常意外和酷的!

Google 致电餐厅并(成功)假装为真正人类的系统是一个里程碑。然而，它引发了许多关于道德和人工智能的问题。

个人助理和聊天机器人很快就达到了极限。他们比以往任何时候都好用，但又不如去年每个人所希望的那么好。

(2) 你认为 2019 年的主要趋势是什么?

• 我估计每个人都会对今年的 AutoML 进展感到兴奋。但我也预计它会失败(除了一些非常具体和明确定义的用例，如图像识别、机器翻译和文本分类，其中手工制作的特征不是必要或是标准的，原始数据接近于机器期望作为输入，并且数据是丰富的)。
• 营销自动化：利用成熟的生成对抗网络和变分自编码器，可以生成数千张相同人物或图像的图片，这些图像之间的面部表情或情绪差异很小。根据消费者对这些图片的反应，我们可以制作出最佳的广告活动。
• 移动设备上的实时语音生成与真实人类无法区分。
• 自动驾驶的出租车将保持在测试/ PoC 阶段。

3. Pedro Domingos ：华盛顿大学计算机科学与工程系的教授。

经过多年的炒作，2018 年变成了对人工智能过度恐惧的一年。听媒体甚至是一些研究人员的言论，你可能会认为机器学习算法是偏见和歧视的垃圾桶，机器人正在接手我们的工作，然后是我们的生活... 不仅仅是谈话：欧洲和加利福尼亚州已经通过了严厉的隐私法，联合国正在就智能武器禁令等进行辩论。公众对人工智能的看法越来越消极，这既危险又不公平。希望 2019 年将看到理智回归。

4. Ajit Jaokar：牛津大学物联网数据科学的首席数据科学家和创始人

2018 年，一些趋势开始起飞。AutoML 是一个，强化学习是一个。这两个新生趋势将在 2019 年大幅扩展。作为我在牛津大学教学的一部分，我认为物联网越来越多地交织在自动驾驶汽车、机器人和智能城市等大型生态系统中。通过与 Dobot 的合作，我见证了一种新的机器人技术，即协作机器人(cobots)，这是 2019 年的一个关键趋势。与以前的装配线机器人不同，新的机器人将能够自主并理解情绪。最后，有一个有争议的观点：在 2019 年，我们所知道的数据科学家的角色将倾向于从研究转向产品开发。我认为人工智能与下一代数据产品的创建密切相关。数据科学家的角色将相应改变。

5. Nikita Johnson：RE.WORK 的创始人。

我们在 2018 年目睹的一个发展是开源工具数量的增加，这些工具降低了进入门槛，使所有人都能更容易地应用 AI，以加强组织之间的协作。这些社区对于确保人工智能在社会和企业各个领域的传播至关重要。

同样，在 2019 年，我们将看到关注「人工智能」的公司数量有所增加，这是基于谷歌最近宣布的 AI for Social Good 计划，以及微软的 AI for Good 计划。随着社会要求公司拥有更高的社会目标，这种向人工智能的积极转变正获得推动力。

6. Zachary Chase Lipton：卡内基梅隆大学机器学习助理教授，Approximately Correct Blog 创始人

让我们从深度学习领域开始，这个领域占据机器学习和人工智能的公共话题的最大份额。也许会惹恼一些人，但我认为对 2018 年的一个合理解读是：最大的发展是没有发展!当然这太简单了，但请允许我展开这个问题。最大的发展很大一部分是「调参」与定性新思想的本质区别。BigGAN 是一个 GAN，但更大。GAN 的逐渐发展产生了真正有趣的结果，在某些意义上迈出了一大步，但从方法论上来说，它只是一个带有课程学习技巧的 GAN。在 NLP 方面，今年最重要的进展是 ELMO 和 BERT 的语境化嵌入。但是至少从 2015-16 开始，我们已经预先训练了语言模型并对下游分类任务进行了微调，当时 Andrew Dai 和 Quoc Le 的实验规模较小。所以也许更愤世嫉俗的说法是，这不是由全新思想主宰的一年。另一方面，积极的说法可能是现有技术的全部功能尚未实现，硬件、系统和工具的快速发展可能会从这里发挥作用，来挤出这些流行了三四年的思想的所有成果。

我认为现在正在酝酿的很多新想法都出现在新兴的深度学习理论中。有很多研究人员，包括 Sanjeev Arora、Tengyu Ma、Daniel Soudry、Nati Srebro 等等，他们正在做一些非常令人兴奋的工作。我们早就已经有了第一性原理理论，这些理论是严谨的，但经常忽略了实践，然后是「实验性」ML，它真正在实践科学，但却导致了排行榜追逐现象。现在出现了一种新的探究模式，理论与实验的结合更紧密。你开始看到受实验启发的理论论文，进行实验的理论论文。

2019 年及以后。我认为应用机器学习领域会有一个清算。我们正急于进入所有这些声称「解决」问题的实际领域，但到目前为止，我们工具箱中唯一可靠的锤子只有监督学习，而且我们只能通过模式匹配来做些约束。受监督的模型可以找到关联，但它们不提供正当理由。它们不知道哪些信息是安全的，或脆弱的(因为它可能会随着时间的推移而发生变化)。这些模型没有告诉我们干预措施的效果。当我们在人类交互系统中部署基于监督学习的自动化系统时，我们并没有预料到它们会扭曲激励因素，从而改变它们的环境，打破它们所依赖的模式。我认为在接下来的一年里，我们会看到更多 ML 项目的案例被废弃，或者因为这些限制而陷入困境。我们会看到社区中更有创意成员的转变，从关注函数拟合排行榜，到更多地关注与弥合表征学习和因果推理之间差距相关的问题。

7. Matthew Mayo：KDnuggets 的编辑

对我而言，2018 年的机器学习发展很好。例如，迁移学习有更广泛的应用，特别是在自然语言处理方面，这要归功于通用语言模型微调文本分类(ULMFiT)等技术和 Transformers 的双向编码器表征(BERT)。另外需要注意的是语言模型嵌入(ELMo)，这是一个深层语境化的单词表征模型，它对模型的每个任务都进行了相当大的改进。今年的其它突破似乎集中在现有技术的改进上，例如 BigGAN。此外，关于机器学习的包容性和多样性的非技术性讨论也成为主流。

我相信，在 2019 年，研究注意力将从监督学习转向强化学习和半监督学习等领域，因为这些领域的潜在应用越来越多地得到实现。例如，我们现在正处于图像识别和生成问题已经「解决」的阶段，并且沿途学到的东西可以帮助研究人员追求更复杂的机器学习应用。

作为业余的 AutoML(自动化机器学习)传播者，我认为我们将继续看到 AutoML 的逐步进步，以至于普通的监督学习任务将能够通过开发中的可行方法有效地进行算法选择和超参数优化。我认为人们对 AutoML 的普遍看法将转变。AutoML 将不再被视为机器学习工具箱的替代品，而是作为其中的另一种工具。我认为，在日常情景中，从业者将经常使用这些工具，这将成为定局。

8. Brandon Rohrer：Facebook 的数据科学家

2018 年的一个重要趋势是数据科学教育机会的扩散和成熟。在线课程是原始的数据科学教育场所。它们在各个层面继续受到欢迎，每年学生和主题都在增加，以及有更多教育形式的变体。

在学术界，新的数据科学硕士课程正以每年约十几个的速度增长。我们的高等院校正在响应公司和学生的请求，为数据相关领域提供专门的计划。

在非正式的层面，教程和博客文章无处不在。它们为读者和作者对数据科学的集体理解做出了巨大贡献。

在 2019 年及以后，数据科学学术计划将成为学习数据科学职位所需基本技能的更常见方式。这是件好事。受认证的机构将填补长期的空白。到目前为止，数据科学资格主要通过以前的工作经验来证明。新数据科学家无法展示自己的资历，因为他们从未从事过数据科学工作;反过来，因为他们无法获得数据科学工作，他们也无法展示自己的资格。教育机构的证书是打破这一循环的一种方式。

但是，在线课程不是哪里都有。有许多人无法接受大学教育的时间和经济要求。通过对项目工作、相关经验和在线培训的展示，即使没有学位，新数据科学家也能够展示他们的技能。在线课程和教程将继续变得更加普遍、更复杂、对数据科学教育更为重要。事实上，一些著名的数据科学和机器学习计划甚至将他们的课程放在网上，甚至为非预科学生提供入学选择。我预计数据科学大学学位与在线培训课程之间的界限将继续变得模糊。在我看来，这是「数据科学民主化」的最真实形式。

9. Elena Sharova：ITV 的高级数据科学家

(1) 2018 年机器学习和人工智能的主要发展是什么?

在我看来，2018 年 AI 和 ML 社区发生了以下三个值得注意的事件。

• 首先，旨在提高公平性和个人数据使用透明度的欧盟全球数据保护条例(GDPR)的启用。该规定明确了个人控制其个人数据和获取其使用信息的权利，但也引起了对法律解释的一些混淆。迄今为止的最终结果是，许多公司认为自己是合规的，对数据处理做了一些表面上的改变，忽略了重新设计数据存储和处理基础设施的基本需求。
• 其次，还有剑桥 Analytica 丑闻，它给整个数据科学社区蒙上阴影。如果之前的辩论主要是关于确保 AI 和 ML 产品的公平性，那么这个丑闻则会引发更深层次的伦理问题。对 Facebook 参与的最新调查意味着它不会很快消失。随着数据科学领域的成熟，这些发展将在许多行业中发生。比如亚利桑那州的 Uber 自驾车案，这种事件之后会有强烈的公众反应。技术就是力量，力量就是责任。正如诺姆乔姆斯基所说：「只有在民间故事、童话故事中，权力才被用来摧毁邪恶。但现实世界教给我们的是截然不同的教训。除非故意或者太无知，否则我们无法忽视这些教训。」
• 最后，从一个更积极的角度来看，亚马逊自己的服务器处理器芯片的最新发展意味着，我们可能会越来越接近云计算的普及，到那时，云计算的成本不再是问题。

(2) 你预计 2019 年的主要趋势会是什么?

数据科学家的角色和责任已不再限于建立实现准确预测的模型。2019 年，ML、AI 和 DS 从业者的主要趋势将是越来越多地关注既定的软件开发实践，特别是测试和维护。数据科学的终端产品将必须与公司其它技术堆栈共存。高效运行和维护专有软件的要求将适用于我们构建的模型和解决方案。这意味着，最好的软件开发实践将巩固我们需要遵循的机器学习规则。

10. Rachel Thomas：fast.ai 联合创始人，旧金山大学助理教授。

2018 年人工智能的两个主要发展是：

• 迁移学习在 NLP 的成功应用
• 越来越多的人开始关注人工智能的反乌托邦滥用(包括仇恨团体和独裁者的监控和操纵)

迁移学习是指将预训练的模型应用到新的数据集。迁移学习是计算机视觉迅猛发展的一个关键因素。2018 年，迁移学习在 NLP 中的成功应用包括：fast.ai 的 ULMFiT、艾伦研究所的 ELMo、OpenAI transformer 和谷歌的 BERT。

有些一直存在的问题在 2018 年也终于开始受到主流媒体的关注，如 Facebook 在「Genocide in Myanmar」事件中的决定性作用，YouTube 不当地推荐阴谋论(其中许多宣扬白人至上)，以及政府和执法机构使用人工智能进行监控等。虽然 AI 的这些滥用很严重也很可怕，但越来越多的人开始意识到这个问题并进行抵制。

我估计随着 NLP 的快速进步(正如 Sebastian Ruder 今年夏天说的，NLP 的 ImageNet 时刻已经到来)，以及技术方面的反乌托邦发展，这个趋势将在 2019 年继续。

11. Daniel Tunkelang：专门从事搜索、发现和 ML/AI 的独立顾问。

2018 年，自然语言处理和理解的词嵌入方面有两大进展。

• 首先是 3 月份，来自艾伦人工智能研究所和华盛顿大学的研究人员发表论文《Deep contextualized word representations》，引入了 ELMo (Embeddings from Language Models)，一个开源的深度语境化词表征，该表征改进了 word2vec 或 GloVe 这样的无语境嵌入。作者证明，通过简单地用来自 ELMo 预训练模型的向量进行替换就可以在现有 NLP 系统上实现改进。
• 其次是 11 月的时候，谷歌开源了 BERT (Bidirectional Encoder Representations from Transformers)。它是一个在 Wikipedia 上预训练得到的双向无监督语言表征。作者在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中证明，他们在多种不同的 NLP 基准上实现了很大的改进，甚至是与 ELMo 相关的基准。

从智能语音助手的快速普及(2018 年底达到 1 亿用户)到移动手机上无处不在的数字助手，自然语言理解方面的进展正迅速从实验室转移到产品。对 NLP 的实践和研究来说，这些成果都令人激动。

但我们还有很长的路要走。

同样是今年，艾伦人工智能研究所的研究人员发表了《Swag: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference》，这是一个需要常识理解的句子补充任务数据集。他们的实验表明，当前最先进的 NLP 模型仍然远不如人类表现。

但我们可能将在 2019 年看到更多 NLP 方面的突破。因为很多非常优秀的计算机科学人才都在为之努力，而业界也已整装待发。