英伟达联手BATD！TensorRT支持超千种计算变换，开源自动驾驶平台

大数据文摘出品

作者：魏子敏、云舟、曹培信

英伟达2019GPU 技术大会（GTC19）今年落地苏州。

长达两小时的主题演讲仍然由英伟达创始人兼首席执行官黄仁勋带来，经历了“人人挖矿”的2018年之后，2019年，英伟达又将重点重新拉回了一直关注的游戏、机器学习和自动驾驶领域，同时，本次发布会上黄教主还探索了在电信5G和生物基因测序两个崭新的应用场景。

据英伟达称，这是有史以来参会人数最多的一次，现场有超过6100人参会，比三年前增长了250%。大数据文摘从大会现场带来了本次大会的精华内容。

• 发布”最大飞跃“TensorRT 7，支持1000多种计算变换
• 自动驾驶领域，开源自动驾驶深度神经网络
• 发布软件定义的自动驾驶平台ORIN
• 将RTX引入了7款最新游戏，并与腾讯合作，推出START云游戏服务
• 发布3D制作流程协作平台新进展，面向AEC的OMNIVERSE
• 发布NVIDIA ISAAC机器人SDK

依然身着经典款皮衣，黄教主首先回顾了英伟达在加速计算领域深耕的25年，称随着摩尔定律的终结，GPU加速计算已经成为未来的发展方向。英伟达目前已经售出了15亿块GPU，如今在使用的每块GPU都兼容CUDA，无论搭载在CUDA上的是游戏、自动驾驶还是医疗应用，它们使用的都是同一个架构。

黄教主称：“如果你只有一个架构，那你就永远只有一个架构需要开发和升级。”

RTX引入7款新游戏，与腾讯合作推出START云游戏服务

第一个重要发布在英伟达一直重视的游戏领域。

今年年初，英伟达在CES的首次发布会上发布了一款最新光影追踪技术RTX，并现场演示了几款令人印象深刻的游戏影像。RTX是一种“光线追踪”技术，基于计算机图像学的人工智能能力，利用算法来模拟真实世界中的光线的物理特性，能够做到物理上精确的阴影、反射和折射以及全局光照。在虚拟的游戏场景下，让游戏中的物体更加具有真实感，这种算法需要强大的计算性能。

不同于传统的光线追踪，RTX可以支持实时电影级画质的渲染，英伟达表示，它是NVIDIA在计算机图形算法和GPU架构领域经过10年努力所取得的成果。

当时，英伟达发布了三款引入RTX的游戏：BioWare旗下备受期待的新作《赞歌》（Anthem），中国热门MMO游戏之一“《逆水寒 (Justice)》”，以及《战地5》。

经过了一年的发展，英伟达将RTX引入了更多游戏内容中。今天的大会现场，英伟达和微软共同宣布，全球最卖座的电子游戏之一——《我的世界》将支持RTX，可以实现实时渲染GI（全局光照）和各类光的反射效果。两天后，中国用户将可以感受到这一逼真的实时光线效果。

除了《我的世界》，英伟达还宣布了6款支持RTX的游戏，包括《暗影火炬》，《Project X》《无限法则》、《轩辕剑七》、《铃兰计划》、《边境》6款游戏大作。

黄教主再次在现场强调，英伟达的RTX不止带来了更加酷炫的游戏体验，还让游戏制作更加简单。传统的游戏创作要完成身临其境的光影效果，需要大批艺术家耗费大量精力进行相关渲染。而利用RTX可以让这一过程更加自动化，比如现场展示的《光明记忆：无限》由fyqd工作室完成，全程只需要一个人即可完成。

除了在游戏制作方向的进展，在硬件领域，黄教主还展示了一款集成GeForce RTX 2080的游戏笔记本电脑MAX-Q，这款电脑的显卡足以支持英伟达的光线追踪技术，并将重量控制到了惊人的2.5公斤。

此外，英伟达还宣布了与腾讯游戏合作，推出START云游戏服务，继日本软银和韩国LG U+之后，将中国的PC游戏引入云端。

发布TensorRT 7，支持1000多种计算变换

人工智能一直是英伟达关注的重要领域，同时也是今天发布会的一大亮点。

去年的GTC China上，英伟达发布了深度学习推理引擎平台TensorRT 5，但TensorRT 5仅支持CNN，而现在的大多数语音模型需要RNN，这一点一直为不少开发者诟病。在今天的发布会上，黄教主发布了TensorRT的新版本TensorRT 7，最新的TRT7支持各种类型的RNN，Transformer和CNN，能够融合水平和垂直方向的运算，为开发者设计的大量RNN配置自动生成代码，逐点融合LSTM单元，甚至可以跨多个时间步长进行融合，并且尽可能做自动低精度推理。相比于TRT 5只支持30种变换，TRT 7能够支持1000多种不同的计算变换和优化。

“TRT7是我们实现的最大飞跃“，黄教主称。

TensorRT 7支持交互式会话AI，T4 GPU上推理会话只需要0.3秒，这让实时对话AI成为了可能。

另一个值得注意的趋势是NVIDIA还宣布了与国内多家互联网头部企业的合作：百度推荐系统采用了NVIDIA AI，并将上百个推荐模型部署在百度的众多应用中。此后百度使用的AIBox推荐系统将采用GPU和Wide and Deep架构，训练成本将降至1/10，并且支持更大规模的模型训练；阿里巴巴的推荐系统也采用了NVIDIA AI，在双十一中，英伟达帮助阿里巴巴处理了每秒几十亿次的推荐请求，英伟达的GPU将原先CPU 3 QPS的计算速度提升到了780 QPS。

开源自动驾驶深度神经网络NVIDIA DRIVE，发布软件定义的自动驾驶平台ORIN

今天，英伟达在自动驾驶领域也有重要发布，向交通运输行业开源NVIDIA DRIVE™自动驾驶汽车开发深度神经网络。

黄教主称这一模型的一大特点是使用DRIVE迁移学习，英伟达的合作伙伴可以对这一模型进行再训练，并利用TensorRT进行优化。迁移学习可以让预训练模型进行有限制的调整，以适应原始的设备制造商特定的汽车、传感器、具体地区的不同需求。

更具野心的是，DRIVE还引入了联邦学习系统，英伟达的合作伙伴可以共享用于创建新模型的权重，并在所有参与合作的伙伴之间共享新模型。

黄教主接下来发布了发布NVIDIA DRIVE AGX ORIN，由软件定义的AV平台。Orin系统级芯片集成了NVIDIA新一代GPU架构和Arm Hercules CPU内核以及全新深度学习和计算机视觉加速器，每秒可运行200万亿次计算，几乎是NVIDIA上一代Xavier系统级芯片性能的7倍。

来看一下Orin的技术参数：

• 170亿晶体管；
• 8核的64位CPU；
• 200 TOPS深度学习算力；
• CPU和GPU锁步运行提高容错；
• 全新安全引擎；
• 兼容Xavier。

NVIDIA DRIVE AGX ORIN适用于从L2到L5的级别，同时降低功效以容纳更高功效的传感器，同时保护EV的范围。Orin的新特性是提高针对OEM的低成本版本，即用一个单路的摄像机来做L2级别的AV，同时能利用整个AV产品线中的软件栈。

Orin可处理在自动驾驶汽车和机器人中同时运行的大量应用和深度神经网络，并且达到了ISO 26262 ASIL-D等系统安全标准。由于Orin和Xavier均可通过开放的CUDA、TensorRT API及各类库进行编程，因此开发者能够在一次性投资后使用跨多代的产品。

黄教主称，Orin计划于2022年开始投产。

在这一领域，英伟达也在发布会上宣布了与滴滴的合作，英伟达将为其在L4级别的探索提供自动驾驶平台和云基础设施，滴滴很快将在上海开始测试车队。

和之前的发布会一样，英伟达最后用一段视频介绍了在自动驾驶领域的最新进展：点到点的自动驾驶能力，遵守红绿灯规则，支持变道、进出匝道、会车、监控司机姿态等。

3D制作流程协作平台新进展：面向AEC的OMNIVERSE

在院线大片的级别上，大规模的3D内容创作是一项庞大的写作工程，一般涉及多个工作室的创造者和专家共同合作，因此并且需要持续的实时分享数据，包括不同工具和格式。

今年3月份硅谷的GTC大会上，英伟达发布了一款名叫OMNIVERSE的3D制作流程协作平台，开发者可以构建端口将其产品链接到OMNIVERSE上，使团队同时使用2D和3D软件实时协作，创建和渲染场景。

在今天的GTC大会上，黄教主宣布了OMNIVERSE的新进展——面向AEC的OMNIVERSE，支持在AEC的工作流中增加实时协作功能，并且支持主流的AEC应用例如Autodesk REVIT, Trimble SketchUP，McNeel Rhino。

此外，发布会上还宣布了英伟达RTX支持中国最大的云渲染平台瑞云（《哪吒》《流浪地球》的影片渲染方），可以将渲染速度提升12倍，价格降低7倍。

进军生物领域，发布基因组分析工具包

发布会现场，黄教主关注的另一个领域是生物领域，特别是全基因组测序，通过整个基因序列，基因组测序可以检测由遗传性疾病引起的DNA突变，包括相关癌症扩散的可能性和疾病机制。同时也可以用来研究畜牧业、农业中导致疾病的生物突变，这涉及到巨大的运算量和机器学习分析能力。

黄教主现场还发布NVIDIA PARABRICKS基因组分析工具包，这是一个基于CUDA加速的基因组处理工具包，可与用于发现变异并能产生与行业标准GATK最佳实践流程一致的结果，实现30-50倍的加速。

英伟达称，正在与华大基因合作，使用CUDA的生命科学超级计算机，以每天60个基因组的惊人吞吐量，改变着全基因组测序（WGS：Whole Genome Sequencing），并同时降低了成本。

黄教主同时还宣布正与爱立信合作，将CUDA应用在5G基站中，用以识别数据传输模式，并优化数据交互。

发布NVIDIA ISAAC机器人SDK

在发布会的最后，黄教主使用新开发的LEONARDO为我们做了一场酷炫的现场demo，这个物体操纵机器人拥有极富科技感的外壳，在demo中展示了快速平滑的动作，6D姿势感知，并成功地与黄教主进行了实时交互。

LEONARDO的训练是在模拟和真实的世界中一起完成的，在Issac Gym仿真训练空间中，它通过大量的训练学习工程师期望的操作，并可以随后在现实世界中完成这些操作。

最后的最后，黄教主还在现场发布了NVIDIA ISAAC机器人SDK，其中的导航功能现在已经可以使用，操纵控制部分功能正在逐步开放中。

需要黄教主全部PPT的小伙伴，后台回复“GTC”就可以获得！