Yann LeCun爆惊人言论:深度学习已死,可微分编程万岁!
深度学习领域最知名的学者之一 Yann LeCun 今日在自己 facebook 上发表的一篇短文,瞬间引爆了国内人工智能关注者们的朋友圈。这条动态讲的是什么呢?为何会引起如此轩然大波?
我们常常提到的深度学习是全部深度学习算法的总称,卷积神经网络是深度学习算法在图像处理领域的一个应用。而 Yann LeCun 就是卷积神经网路的发明者,也被称之为“卷积神经网络之父”。卷积神经网络的出现对人工智能发展的重要性不必多说。而这次 Yann LeCun 的推文传播如此之快,是不是有比“卷积神经网络”更重大的学术成果出来了?为了使国内读者了解到 LeCun 推送的内容,雷锋网编辑对推文进行了编译。
首先开头是一句极具有标题党风格的英法混合语:
Deep Learning est mort. Vive Differentiable Programming!
翻译成中文就是:深度学习已死,可微分编程万岁!
为何突出此言?深度学习算法是人工智能多个领域的底层框架,怎么就死了呢?接着往下看发现 LeCun 说的是“深度学习”这个词已死,该有新的名词来替代它了。
LeCun 提到的新词是可微分编程。
他在推文中解释道“可微分编程”不过是把现代深度学习技术重新换了个叫法,这就跟当年神经网络还只有两个以上隐藏层时就被称之为“深度学习”差不多。对于现代深度学习技术,“深度学习”这个词已经不够用了。
他又写道:
但重点的是,人们现在正通过组装参数化功能模块网络,构建一种新软件,并用某种基于梯度优化的方法来训练它们。
越来越多的人正在以一种依赖于数据的方式(循环和条件)来程序化定义网络,让它们随着输入数据的动态变化而变化。这与普通的程序非常类似,除了前者是参数化的、可以自动可微分,并且可训练和优化。动态网络变得越来越流行(尤其是对于 NLP),这要归功于 PyTorch 和 Chainer 等深度学习框架(注意:早在 1994 年,之前的深度学习框架 Lush,就能处理一种称为 Graph Transformer Networks 的特殊动态网络,用于文本识别)。
现在人们正在积极研究开发命令式可微分编程语言编译器,这对开发基于学习的 AI(learning-based AI)来说是一条非常令人兴奋的途径。
最后,LeCun 还特别强调将“深度学习”改名为”可微分编程”还不够,其他的一些概念也需要改,比如“预测性学习”应该改为 “Imputative Learning”。他说稍后会谈更多......(读者们可以帮想想还有什么需要改名的,这句是雷锋网加的)。让我们一起来关注 LeCun 的最新动态吧!