刚刚,深度学习“三巨头”共同斩获2018图灵奖!
大数据编辑部出品
当地时间3月27日,美国计算机协会(ACM)宣布,把2018年的图灵奖(Turing Award)颁给人工智能科学家Yoshua Bengio,Geoffrey Hinton和Yann LeCun,以表彰他们为当前人工智能的繁荣发展所奠定的基础。
ACM同时宣布,将于2019年6月15日在旧金山举行年度颁奖晚宴,届时正式给获奖者颁奖,奖金100万美元。
ACM在公告中称,虽然在20世纪80年代,就已经有人开始使用人工神经网络为计算机识别和模拟人类智力。但是,正是三位先驱,在人工智能寒冬下,仍然致力于研究人工神经网络,才重新激发了研究人员人工智能的热情。现在,他们三个的所倡导以及发明的研究方法是学术界和产业界重要的范式。
“人工智能现在是所有科学领域发展最快的领域之一,也是社会上最受关注的话题之一,”ACM总裁Cherri M. Pancake说。“人工智能的增长和兴趣在很大程度上归功于Bengio,Hinton和LeCun,是他们奠定基础的深度学习的最新进展。
数十亿人使用这些技术。任何在口袋里都装有智能手机的人,都可以体验到自然语言处理和计算机视觉方面的进步,这在10年前是不可能实现的。除了我们每天使用的产品之外,深度学习的新进展为科学家提供了强大的新工具 - 从医学,天文学到材料科学。”
Google高级研究员兼Google高级研究员Jeff Dean说:“深度神经网络促成了现代计算机科学的一些最大进步,在计算机视觉、语音识别和自然语言理解方面的长期问题上取得实质性进展,通过大幅提高计算机理解世界的能力,深度神经网络不仅改变了计算领域,而且几乎改变了科学和人类努力的每一个领域。”
这不是图灵奖第一次被颁给三位获奖者,但被誉为“深度学习三巨头”的三位AI之父们同时获奖,依然是人工智能领域令人振奋的时刻。三位获奖者都纷纷发推特表达了激动的心情。
Yann LeCun发推表示非常荣幸和好友一同获得这一奖项
机器学习F4之一,但是这次没能获奖的吴恩达也发推表达了激动的心情
三位获奖人不仅都一起工作过,也都是很好的朋友,经常同框出现。三人的工作互相激发影响,为人工智能的爆发奠定了坚实的基石。
被称为深度学习领域的F4:三位获奖人与“粉丝”吴恩达老师的合影
三人同框参会
其中,Yoshua Bengio,蒙特利尔大学计算机科学与运筹学系教授,也是深度学习“三巨头”中唯一一位全身心投入学术界的科学家。
Geoffrey Hinton,谷歌副总裁兼工程研究员,Vector Institute 的首席科学顾问,多伦多大学的名誉大学教授。他在80年代把反向传播(BP)算法引入了神经网络,使得复杂神经网络的训练成为可能。之后,他又在1983 年发明玻尔兹曼机(Boltzmann Machines),以及在 2012 年改进了卷积神经网络的,并在著名的 ImageNet 评测中取得惊人成绩,在计算机视觉领域掀起一场革命。
Yann LeCun,Facebook人工智能研究院负责人,纽约大学数据科学中心的创始人之一。虽然并未直接发明CNN,但Yann LeCun将反向传播算法引入了CNN,并且发明了权值共享、池化等神经网络处理方法。另外,他在1998年开发了LeNet5——首个被大规模商用的CNN,并制作了MNIST数据集,这个经典数据集也被Hinton称为“机器学习界的果蝇”。
ACM列数获奖者成就
三人在人工智能领域的成就数不胜数,但是ACM依然列数了三位大咖最值得被记住的成就,我们也在此重新回顾他们的故事,简直就是一部人工智能/深度学习的发家史。
Geoffrey Hinton
反向传播:在 1986 年与 David Rumelhart 和 Ronald Williams 共同撰写的 “Learning Internal Representations by Error Propagation” 一文中,Hinton 证明了反向传播算法允许神经网络发现自己的数据内部表示,这使得使用神经网络成为可能网络解决以前被认为超出其范围的问题。如今,反向传播算法是大多数神经网络的标准。
玻尔兹曼机(Boltzmann Machines):1983 年,Hinton 与 Terrence Sejnowski 一起发明了玻尔兹曼机,这是第一个能够学习不属于输入或输出的神经元内部表示的神经网络之一。
卷积神经网络的改进:2012 年,Hinton 和他的学生 Alex Krizhevsky 以及 Ilya Sutskever 通过 Rectified Linear Neurons 和 Dropout Regularization 改进了卷积神经网络,并在著名的 ImageNet 评测中将对象识别的错误率减半,在计算机视觉领域掀起一场革命。
Yoshua Bengio
序列的概率模型:在 20 世纪 90 年代,Bengio 将神经网络与序列的概率模型相结合,例如隐马尔可夫模型。这些想法被纳入 AT&T / NCR 用于阅读手写支票中,被认为是 20 世纪 90 年代神经网络研究的巅峰之作。现代深度学习语音识别系统也是这些概念的扩展。
高维词汇嵌入和关注:2000 年,Bengio 撰写了具有里程碑意义的论文“A Neural Probabilistic Language Model”,它引入了高维词向量作为词义的表示。Bengio 的见解对自然语言处理任务产生了巨大而持久的影响,包括语言翻译、问答和视觉问答。他的团队还引入了注意力机制,这种机制促使了机器翻译的突破,并构成了深度学习的序列处理的关键组成部分。
生成性对抗网络:自 2010 年以来,Bengio 关于生成性深度学习的论文,特别是与 Ian Goodfellow 共同开发的生成性对抗网络(GAN),引发了计算机视觉和计算机图形学的革命。
Yann LeCun
卷积神经网络:在 20 世纪 80 年代,LeCun 研发了卷积神经网络,现已成为该领域的基本理论基础。其让深度学习更有效。在 20 世纪 80 年代后期,多伦多大学和贝尔实验室工作期间,LeCun 是第一个在手写数字图像上训练卷积神经网络系统的人。如今,卷积神经网络是计算机视觉以及语音识别、语音合成、图像合成和自然语言处理的行业标准。它们用于各种应用,包括自动驾驶、医学图像分析、语音激活助手和信息过滤。
改进反向传播算法:LeCun 提出了一个早期的反向传播算法 backprop,并根据变分原理对其进行了简洁的推导。他的工作让加快了反向传播算,包括描述两种加速学习时间的简单方法。
拓宽神经网络的视野:LeCun 还将神经网络作为可以完成更为广泛任务的计算模型,其早期工作现已成为 AI 的基础概念。例如,在图像识别领域,他研究了如何在神经网络中学习分层特征表示,这个理念现在通常用于许多识别任务中。与 LéonBottou 一起,他还提出了学习系统可以构建为复杂的模块网络,其中通过自动区分来执行反向传播,目前在每个现代深度学习软件中得到使用。他们还提出了可以操作结构化数据的深度学习架构,例如图形。
关于图灵奖
图灵奖,全称“A.M. 图灵奖(A.M Turing Award)” ,通常被称为“诺贝尔计算机奖”,由谷歌提供财务支持,奖金为100万美元。于1966年由美国计算机协会(ACM)设立,专门奖励那些对计算机事业作出重要贡献的个人 。
由于图灵奖对获奖条件要求极高,评奖程序又是极严,一般每年只奖励一名计算机科学家,只有极少数年度有两名合作者或在同一方向作出贡献的科学家共享此奖。因此它是计算机界最负盛名、最崇高的一个奖项,有“计算机界的诺贝尔奖”之称 。
从1966年至今共70名得主,按国籍分,美国学者最多,欧洲学者偶见之,华人学者目仅有2000年图灵奖得主姚期智(现在清华大学、香港中文大学)。
70名得主分布在几十个小领域,排在前六的领域有:编译原理、程序设计语言,计算复杂性理论,人工智能,密码学,以及数据库。在某种意义上,可大致认为,前三个领域与计算机科学本身更密切一些,后三个领域与军民应用更密切一些。
以下是图灵奖历届得主☟