刚学Python,你就告诉我过时了?
Facebook 首席研究主管Yann LeCun今天表示,“深度学习可能需要一种比Python更灵活,更易于使用的新编程语言。”
Yann LeCun表示,目前尚不清楚这种语言是否必要,但这种可能性与研究人员和工程师非常根深蒂固的愿望背道而驰。
自20世纪80年代以来,LeCun一直致力于神经网络。
在科技媒体VentureBeat的采访中,LeCun表示,目前,谷歌、Facebook和其他一些公司已经开展了新编译语言的设计工作,可以有效地进行深度学习。当然,各家的研究成果还未成熟。
“现在的问题是,这是一种有效的方法吗?”
根据GitHub最近的Octoverse报告,Python目前是开发机器学习项目的开发人员使用的最流行的语言,该语言构成了Facebook的PyTorch和Google的TensorFlow框架的基础。
看起来,Python的地位还是那么必要,但是,并不意味着它永远是那么受关注。
2019 ISSCC 大会近日在美国旧金山开幕,Facebook 首席 AI 科学家 Yann LeCun 在会上发表了主题演讲「深度学习硬件:过去、现在和未来」,介绍了深度学习研究的发展将如何影响未来硬件架构。LeCun今天在会上发表了一篇探讨最新趋势的论文。
本文的第一部分专门介绍LeCun从贝尔实验室学到的经验,包括他观察到AI研究人员和计算机科学家的想象力往往与硬件和软件工具联系在一起。
人工智能已有50多年的历史,但其目前的增长与计算机芯片和其他硬件提供的计算能力的增长密切相关。
20世纪80年代在贝尔实验室工作,并使ConvNet(CNN)AI能够读取邮政信封和银行支票上的邮政编码。LeCun表示,更好的硬件导致更好的算法,导致更好的性能,导致更多人构建更好的硬件,这样的良性循环只有几年的历史。
在21世纪初,在离开贝尔实验室并加入纽约大学后,LeCun与该领域的其他杰出人物合作,如Yoshua Bengio和Geoffrey Hinton,进行研究以恢复对神经网络的兴趣,并让深度学习变得更受欢迎。
近年来,硬件方面的进步 - 如现场可编程门阵列(FPGA),谷歌的张量处理单元(TPU)和图形处理单元(GPU) - 在该行业的发展中发挥了重要作用。据报道,Facebook也在研发自己的半导体产品。
“现有的硬件对人们所做的研究有很大的影响,因此未来十年左右,AI方向将受到硬件可用性的极大影响,”他说。 “对于计算机科学家来说,这是很麻烦的一件事,因为我们总是抽象地认为,我们不受硬件限制的束缚,但事实上我们无法摆脱。“
LeCun强调了硬件制造商未来几年应该考虑的一系列AI趋势,并就不久的将来所需的架构类型提出了建议,并建议考虑不断扩大深度学习系统的规模。
他还谈到了专门为深度学习和硬件设计的硬件的需求,以及能够处理一批训练样本的硬件,而不是需要批量处理多个训练样本才能有效运行神经网络,这是目前的标准。
LeCun表示,“如果你运行单个图像,那么你将无法利用GPU中可用的所有计算。基本上,你会浪费资源,因此批量生产会迫使你考虑训练神经网络的某些方法。“
他还建议动态网络和硬件可以调整,以仅利用任务所需的神经元。
在论文中,LeCun重申了他的观点,即自我监督学习将在推进最先进的人工智能方面发挥重要作用。
“如果自我监督的学习最终允许机器通过观察学习关于世界如何运作的大量背景知识,人们可能会假设,某种形式的机器常识可能出现,”LeCun在论文中写道。
LeCun认为,未来的深度学习系统将主要通过自我监督学习进行训练,并且需要新的高性能硬件来支持这种自我监督学习。
上个月,LeCun讨论了VentureBeat自我监督学习的重要性,并将其作为2019年人工智能预测故事的一部分。可以处理自我监督学习的硬件对于Facebook以及自动驾驶、机器人和许多其他形式的技术。
编译出品