小目标,大进步:2016人工智能主要进展
作者通过自己的研究领域以及关注的热点,概述了整个2016年机器学习领域中的主要突破与发展。很好的带领我们回顾了整个机器学习领域不平凡的2016年。
下为翻译文章:
2016很可能成为历史上“机器学习最火”的一年。每个人似乎都在做机器学习领域的工作,如果不是的话,他们也正在考虑收购一家这方面的创业公司。
当然有许多原因导致了这股热潮。你能否相信从Google宣布开源Tensor Flow项目至今才一年时间?Tensor Flow已经是一个非常活跃的项目,被广泛用于从药物开发到音乐制作的各个领域。Google并不是唯一一家开源机器学习软件的公司,还有许多公司和他们一样。微软开源了CNTK,百度宣布推出PaddlePaddle。亚马逊则刚刚宣布,他们将在其新的AWS 机器学习平台上支持MXNet。而Facebook,不止支持一个机器学习项目,而是两个深度学习框架的开发:Torch和Caffe。另一方面,Google也支持非常成功的Keras,Facebook和Google在这方面目前打个平手。
除了机器学习研究的热潮和各大IT巨头对机器学习开源项目的大力支持外,在2016年我们还看到了机器学习的大量实际应用,这在一年前几乎难以想象。我印象特别深刻的是Wavenet运用机器学习生成的高质量音频。我过去曾经进行过类似的研究,对于他们能够有如此出色的结果我也感到非常欣喜。还要特别指出最近在唇语阅读方面的进展,一个非常出色的视频识别应用,这在不久的将来可能是非常有用的(也许是非常可怕的)。还有,Google在机器翻译方面取得的令人印象深刻的突破。这一年中机器学习领域有这么多的进步,真是令人惊叹不已。
事实上,机器翻译并不是机器学习语言技术方面看到的唯一有趣的进步。最近,结合深层顺序网络和边际信息技术的方法来产生丰富的语言模型是非常有意思的研究。在《一种神经网络语言模型》中,Bengio团队就结合了知识图与RNN(递归神经网络)技术。在《用于大规模NLP任务的上下文LSTM模型》中,Deepmind团队将NPL(神经语言程序学)纳入到LSTM(长短期记忆人工神经网络)模型中。我们还看到了在建模语言模型注意力和记忆方面许多有趣的工作。比如,我比较推荐上次ICML上展示的《用于NLP的动态记忆网络》
此外,我还要谈谈在巴塞罗那举行的NIPS 2016。不幸的是,我错过这次在我家乡举行的会议。我只能以其他方式关注这次会议。而就我所了解的,这次会议中最炙手可热的两个议题可能就是《生成式对抗网络》(包括Ian Goodfellow非常受欢迎的教程)和《概率模型与深度学习的组合》
让我也说说我主要研究领域:推荐系统,相关方面的一些进步。当然,深度学习也影响了这一领域,虽然我仍然不建议将深度学习作为推荐系统的默认方法。如何在实际工作中大规模的使用推荐系统是非常有趣的,比如通过像Youtube这样的产品。也就是说,在推荐系统中的一些有趣的研究与深度学习并无多大关系。今年ACM Recsys的最佳论文奖获得者《用于Top-N的本地项目间模型》就是一个使用初始无监督聚类步骤的稀疏线性方法(即SLIM)的一个有趣的扩展。此外《用于CTR预测的现场感知因子分解机》中描述了Criteo CTR预测Kaggle挑战的获胜方法。这给我们一个非常好的提示,分解机在机器学习工具包中仍然是一个出色的工具。
我还能罗列出许多机器学习研究领域在过去一年中的进步。而我没有提到任何与图像识别或加强学习相关的突破或突出的应用程序,如无人车,聊天机器人或人工智能游戏这样的例子。这些都是2016年取得的巨大进步。更不用说所有关于机器学习如何具有或可能对社会产生负面影响的争论,以及围绕算法偏差和公平性讨论的兴起。
附言:
在结束本文之前,我还应该指出,以上大多数成果“可能”已经由Schmidhuber在几年前就已经提出了。不过至少他上了今年的纽约时报 :)
本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。
文章原标题《What were the main advances in machine learning/artificial intelligence in 2016?》,作者:Xavier Amatriain,译者:friday012
文章为简译,更为详细的内容,请查看原文:https://yq.aliyun.com/articles/68274