TF下载量已超4600万!首届TF World大会,Jeff Dean激情演讲
【新智元导读】TensorFlow 2.0正式版发布不久,全球开发者和开源用户迎来了首届TensorFlow World大会。谷歌大牛Jeff Dean登台激情演讲,分享了谷歌AI的进展和TensorFlow的野心;谷歌推出TensorFlow Enterprise,提供长期企业支持,这将带来哪些变化,来新智元 AI 朋友圈说说你的观点~
前有全球千百万开发者的热烈追捧,后有谷歌爸爸的鼎力支持,TensorFlow从一出生开始就注定不平凡。
而谷歌刚刚宣布将推出TensorBoard.dev预览版,用于共享TensorBoard机器学习可视化效果,同时发布的还有TensorFlow Enterprise,通过TensorFlow与云团队之间的协作来生成云服务。
根据谷歌副总裁Megan Kacholia所言,“现在可以托管和跟踪ML实验,并实现公开共享,无需设置,只需上传日志及共享URL,其他人即可查看实验及使用TensorBoard所做的一切”。TensorFlow Enterprise旨在为大型企业提供TensorFlow的优化版本,可提供多达3倍的数据读取改进。
作为全球最热的开源软件平台,TensorFlow的大名相信已经不需要过多介绍。早在2011年,谷歌大脑团队作为内部机器学习工具而打造的DistBelief就凝聚了一大批谷歌杰出程序员的心血,其中不乏Jeff Dean这样的天才人物。
2015年11月,以DistBelief为基础,TensorFlow初版正式发布,立即引发强烈反响,当时就有报道将TensorFlow和2008年安卓手机操作系统的诞生相提并论,更有人称TensorFlow的发布标志着“谷歌已经从一家搜索公司,变成了一家机器学习公司。在未来几年内将在技术行业引发强烈震动。”
后来的事实证明,这个说法实际上并不准确,TensorFlow给技术行业带来的不仅仅是震动,而是一场全方位的革命。正如MapReduce和Hadoop让“大数据”变得家喻户晓一样,过去几年来,伴随着机器学习领域的飞跃式发展,在“机器学习”几乎成为计算机科学的代名词的过程中,TensorFlow更是居功至伟。
正值TensorFlow 2.0正式版发布不久之际,全球开发者和开源用户又迎来了另一次历史性的盛事:首届TensorFlow World大会正于美国加州圣克拉拉举办。
短暂开场式后,Jeff Dean亮相做开场主题演讲。
Jeff Dean:TensorFlow下载量已超4600万
Jeff Dean表示,尽管芯片的摩尔定律可能面临终结,但“AI论文数量”的摩尔定律可能才刚刚起步。现在,每天都有100篇机器学习领域的新论文诞生。
机器学习使得过去不可能的事情变得可能。语音识别、图像识别翻译和预测上的性能日新月异。2011年,机器学习图像识别的错误率最低大概是26%,到了2016年,这个数字就迅速降至4%,错误率已经低于经过专业训练的人类水平(5%)。
在语音识别和机器翻译等其他基于机器学习的领域,也出现了同样明显的技术进步。
Jeff Dean在演讲中列出了美国国家工程院于2008年发布的“21世纪14大工程学挑战”。十年后的现在回过头来看,有些问题已经解决,有些看到了解决的希望,有些仍未解决。值得注意的是,在已经解决的问题中,机器学习和AI发挥了不可或缺的作用。
重建和提升城市基础设施
交通是城市生活的重要组成部分,在机器学习和计算机视觉技术的加持下,自动驾驶车辆的性能迅速提升,雷达、多角度摄像头和传感器让车辆具备实时处理来自环境的原始数据的能力。换句话说,车辆能够在行驶中实时快速理解周围正在发生的事。
这些都不再是遥不可及的梦,谷歌旗下的自动驾驶车企业Waymo早已开始路测,从去年开始,Waymo的路测车辆中坐的是普通的乘客,而且拿掉了安全员。
重塑医疗信息学
Jeff Dean认为,在医疗领域,AI技术的最重要意义在于,将世界级的专业医学服务,以极低的成本带给了世界上更多的人。
以糖尿病视网膜病变为例,这是世界上导致可预防性致盲的疾病中增长最快的一种,全世界因该病而可能致盲的人群多达4亿。通过每年定期检查,可以有效防控这种疾病,降低致盲风险。但是做这种检查需要专业的眼科医生,一般医生无法胜任,这导致印度有45%的患者因为眼科医生数量短缺,没能及时确诊而致盲。
怎么办?Jeff Dean表示,该病的诊断实际上可以通过计算机视觉来辅助进行,训练深度神经网络学习“看图诊断”。诊断结果很有意思,AI医生和人类眼科医生平均有60%的几率给出一致的诊断意见,看上去并不高是吧?如果让人类医生隔几个小时看同一张片子,两次给出相同诊断意见的概率也只有65%。
这个问题其实不难解决。只要增加人类医生的数量,继续用标记图像数据训练AI模型,最终模型的诊断水平甚至能够相当于甚至超过美国眼科医生的平均水平。
NLP终于迎来新范式
前面许多进步都依赖于能够理解文本,而在理解语言方面,最近取得了很大的进步。
2017年谷歌研究员提出Transformer模型,这篇论文非常成功,在英语-德语和英语-法语的机器翻译中达到了最高的准确率,同时计算成本降低了10~100倍。
到了2018年,谷歌研究员提出BERT模型,这是一个强大的预训练模型,如今已经成为一种新的NLP范式。比如在“完形填空”这个任务中,它的原理是:
- 步骤1:使用大量的自我监督文本,为“完形填空”任务预训练一个模型
- 步骤2:使用少量数据对单个语言任务的模型进行微调
在GLUE基准测试中,BERT模型在一系列语言任务中都取得了最好的结果。
TensorFlow已经被下载46000000次
Jeff Dean接着介绍Google在开发用于科学发现的工具方面的进展,无论是无人驾驶还是太空探索,都需要有最好的工具,TensorFlow就是其一。
TensorFlow现在已经被下载46000000次,被用到各种各样的任务当中,有些甚至超乎想象。
自动化机器学习AutoML
Jeff Dean 接下来介绍了 AutoML。
自动化机器学习的目标是为计算机开发能够自动解决新的机器学习问题的技术,而不用每次遇到新问题都需要人类机器学习专家干预。如果我们想要真正的智能系统,这是所需要的最基本的能力。AutoML 是使用强化学习和进化算法设计神经网络结构的新方法。
再如神经架构搜索(NAS),这也是当前研究的一个热点,它的想法是通过强化学习训练模型生成器,然后:
(1)生成10个模型
(2)训练几个小时
(3)用生成的模型的损失作为强化学习信号
从而提升模型的准确性,应用到自己的任务中。
通过不断迭代来找到最优的模型,这样的模型非常有效。
上面是一个图像识别的模型。过去几年深度学习在图像识别方面取得了非常快速的进展,如下面的折线图所示,纵轴表示图像识别的准确性,横轴表示浮点数量,蓝色线条是AutoML的表现,可以看到,模型的准确性在不断提高。
Jeff Dean预测,由于计算能力的提升,自动化机器学习的能力会不断增长。
图像识别之外,在物体检测、机器翻译等领域也有同样的趋势。
最后,Jeff Dean总结了TensorFlow的目标:
- 大模型,但稀疏激活
- 单个模型解决多个任务
- 通过大模型动态地学习和成长路径
- 模型架构根据需要进行调整
- 利用现有的技能和表示添加新任务
为什么要选择TensorFlow 2.0?
谷歌副总裁Megan Kacholia为我们介绍了最新的TensorFlow 2.0。
谷歌副总裁Megan Kacholia
TensorFlow 是一个端到端开源机器学习平台。它拥有一个包含各种工具、库和社区资源的全面灵活生态系统,可以让研究人员推动机器学习领域的先进技术的发展,并让开发者轻松地构建和部署由机器学习提供支持的应用。
Megan把TensorFlow形容为“一个完整的生态系统”,可以帮助开发者使用机器学习解决棘手的现实问题。它具备3大特点:
1、轻松地构建模型
TensorFlow 提供多个抽象级别,因此开发者可以根据自己的需求选择合适的级别。可以使用高阶 Keras API 构建和训练模型。如果对更高的灵活性又要求,则可以借助 Eager Execution 进行快速迭代和直观的调试。对于大型机器学习训练任务,可以使用 Distribution Strategy API 在不同的硬件配置上进行分布式训练,而无需更改模型定义。
2、随时随地进行可靠的机器学习生产
TensorFlow 始终提供直接的生产途径。不管是在服务器、边缘设备还是网络上,无论使用何种语言或平台,TensorFlow 都可以让开发者轻松地训练和部署模型。如果需要完整的生产型机器学习流水线,可以使用 TensorFlow Extended (TFX);如果要在移动设备和边缘设备上进行推断,可以使用 TensorFlow Lite。如果想在 JavaScript 环境中训练和部署模型,可以使用 TensorFlow.js 。
3、强大的研究实验
TensorFlow可以构建和训练先进的模型,并且不会降低速度或性能。借助 Keras Functional API 和 Model Subclassing API 等功能,TensorFlow 可以帮助开发者灵活地创建复杂拓扑并实现相关控制。TensorFlow 还支持强大的附加库和模型生态系统以供进行实验,包括 Ragged Tensors、TensorFlow Probability、Tensor2Tensor 和 BERT。
Megan表示,很多研究人员、数据科学家、开发者都在使用机器学习解决具有挑战性的现实问题。现在TensorFlow升级到2.0,使用更简便、性能更强大。
Megan分享了一个案例,有个名叫Lose It的公司在用过TensorFlow 2.0后表示:体验很流畅。
TensorFlow支持更加简便的调试,Megan为我们进行了代码演示:使用Bert模型来进行文本分类,通过准备数据集、适用API,再经过几行代码后就可以直接进行模型训练,再通过几行代码,即可进行模型调试。正因如此,易用的TensorFlow可以让开发者社区很快地进行测试。
易用性是一方面,性能也很重要。Megan表示:TensorFlow通过适用英伟达GPU,可以把整个训练效能提升3倍,未来性能还会不断提升。
TensorFlow 2.0生态系统中还有两点值得关注:一个是它的兼容性,TF Probability、TF Agents和TF Text均兼容;另一个是TensorFlow生态系统中新增的Library,包括神经网络学习和Fairness Indicators。
TensorBoard是TensorFlow视觉化的工具箱,在使用者中非常受欢迎,开发者很愿意分享。日志上传后可以很便捷的与他人分享。
TensorFlow Hub则可以帮助开发者更快的找到自己需要的内容,更快的完成任务。
TensorFlow Enterprise发布
会上,Google Cloud产品总监Craig Wiley发布了企业版TensorFlow:TensorFlow Enterprise。
TensorFlow Enterprise旨在为大型企业提供其开源机器学习框架TensorFlow的优化版本。它可与Google的AI平台和Kubernetes引擎以及Deep Learning VM和 Deep Learning Containers的优化版本一起使用。这项服务提供了高达3倍的数据读取改进(TensorFlow读取和缓存文件方式更改的结果),以及长达3年的安全补丁和选择错误修复支持。
除了可扩展性之外,TensorFlow Enterprise客户还可以从轻松访问一系列Google Cloud托管服务中受益,其中包括Google Kubernetes Engine和Google AI Platform。
最后是福利时间:持续3天的TensorFlow World大会,所有演讲视频和研讨会内容都会在TensorFlow的YouTube频道提供,传送门:
https://www.youtube.com/channel/UC0rqucBdTuFTjJiefW5t-IQ