VR直播面临的五大技术挑战和实现难点
在本次WOT2016移动互联网技术峰会上，RGBVR联合创始人兼CTO任福新分享了主题为《VR直播的挑战和关键技术》的演讲，具体包括VR直播面临的很多问题，从系统落地角度，拍摄、编码压缩、网络传输和播放等各个环节进行系统的设计和优化。从用户体验角度，需要在临场感、沉浸感和互动性三个方面一起发力，才能为用户提供合格的VR直播。会后，51CTO记者采访了任老师，他就VR直播技术的发展现状、应用场景、存在的实现难点和未来3-5年的发展目标等话题进行了详细阐述。
嘉宾简介
任福新：之前做手机游戏，于2015年创立RGBVR并兼任CTO，专注于VR视频方面的产品和技术研究，期间搭建国内首个VR直播秀场-小花秀。
目前，虚拟现实技术VR和VR直播这两块发展火爆，特别是VR直播成为2016年VR行业的热点，得到大家的普遍看好。据艾媒咨询公司的数据显示，到2020年，VR直播的市场规模将达到550多亿元，成为一个新兴的蓝海市场。
为什么VR直播从内容方面可以脱颖而出，毕竟VR游戏和VR视频是VR的两个最重要的内容。这是因为VR的游戏体验成本相对比较高。而VR视频的制作成本和拍摄的逻辑方式，从业者还处于摸索期。相比较而言，VR直播的创作成本比较低。目前，大家在VR上的直播尝试，已经有很多公司在做，但是成型的体验比较好的产品还没有出来，仍处在萌芽期。
VR直播面临的五大挑战包括：1.适合VR的内容形式与表演方式。2.拍摄高质量(清晰、真实)的VR视频。3.分发和存储高分辨率和高码率的VR视频对带宽的要求较高。4.具体的呈现方式(设备质量、算法)。5.直播的交互方式。
作为VR的一大助力，哪些内容适合采用VR直播模式传播
任老师认为可以使用的行业很多，传统适合做VR的内容，同样适合现在的VR直播。而且，原来不适合手机直播，PC直播的内容，也将变得适合VR直播。在这方面，RGBVR已经做了一些尝试和探索，包括在不侵害当事人隐私前提下的医疗行业手术直播，一些发布会的直播，事件和演唱会的直播等。相对于日常的电视直播方式，放到VR场景里面的直播，观看者的视野更加开阔和清晰，对全场景尽在掌握。
《小花秀》是RGBVR推出的VR视频直播互动平台，通过广角3D等技术力求完美呈现主播的表演，为用户提供身临其境的观看体验。小花秀的第一个尝试是180度的3D直播，因为大部分人看VR的时候，长期观看习惯就是面前的角度，不会频繁地扭头来回看。之所以选用3D是因为这样的立体效果非常重要，它让你能够看出来，物体离你有多远。这个和在真实生活，用户看到的场景是一样的，会产生一个真实的沉浸感。小花秀的国外对标产品是美国的NextVR，NextVR主要的应用场景是大型体育赛事和大型活动，内容量不是很大，每次使用一个专门的采访车开到现场来做活动直播。而小花秀也是采用3D方式呈现，希望这一产品可以让更多人使用，降低用户的使用成本。小花秀的运作目标是打造一个综合的娱乐平台，跟现在的手机直播一样，最终每个喜欢它的用户都可以收看，感受VR的魅力。
VR直播技术的实现难点
任老师提的VR直播技术的实现难点很多，包括从流程、拍摄端，传输到云端分发，到播放端，头盔，端到端，还有视频的应对，几乎每一个环节都存在困难。但是，RGBVR团队已经在小花秀上线前的测试过程中基本处理完各个“坑”了。
VR直播流程和普通直播流程很像，但要达到身临其境的感觉，在头盔端需要达到4K甚至更高的分辨率，所以整个流程对各个环节的要求都提高了。
VR直播环节需要具备的条件有：
1.合格的拍摄设备。
有的还会在设备内完成图像的部分处理，所以需要高性能的处理芯片。
• 多颗广角镜头
• 传感器同步
• 色彩、白平衡等参数一致
2.高效的视频处理流程
• 拼接：将多镜头拍摄的画面进行亮度色彩调整、对齐、畸变矫正、投影到球面等一系列处理后，合成为一幅完整画面的过程。
• 基于图像特征control points控制点。
3.够宽的网络传输
• 尽量减少上行码率
• 使用云转码生成多码率视频
• 根据客户情况动态调整下行码率
4.舒适的头显设备
(1)移动头显设备
• Cardboard
• GearVR
• 一体机
(2)参数指标
• 分辨率：2K
• 计算能力：骁龙820
• 解码能力：4K硬解
• 系统&交互：Daydream
• 其他：无畸变、无色散、角度够大、延迟低
5.精心打造的直播应用
(1)营造强沉浸感
• 全空间包围
• 直播画面大于人眼FOV
• 等比例还原
• Avatar形象提升代入感
(2)营造强临场感
• 3D
(3)丰富方便的交互
• 语音聊天
• 送礼物
(4)方便的交互方式
在VR直播中，VR的交互是比较难实现的，因为一旦用户戴上了头盔，呈现的交互方式和原来将完全不一样。在PC时代，用户已经习惯了使用鼠标、键盘和手机的触摸屏进行信息输入。到了VR时代，现在还没有一个很方便的输入方式，可以让大家把这个习惯传承和延续下来。在VR世界里面，如果用户想快速地输入一些文字类内容，包括一些交互是比较困难，这个是VR直播面临的最大一个问题，现在有一些方法仍在探索一些更新的交互点。
(5)其他：高性能解码播放、适配各种手机和头显设备、低延迟、秒开、音画一致等。
最后在VR直播发展趋势这块，任老师看好三维场景、真实互动和VR穿梭。上面介绍的这些形式仅仅是VR直播最基础的形式。很多用户往往都会想自由走动，从不同角度观看。未来的VR直播肯定能够支持这点，使用三维场景真实还原现实环境，并提供更自然直接的交互方式。微软、Replay Technologies的FreeD已经在这些方面有些成果出来了。甚至像前段时间intel发布的Project Alloy宣传片中展现的那样，与环境发生真实交互。
未来3到5年，VR直播行业的发展前景
手机直播在这两年变得非常的火，无论是什么类型的公司，比如互联网公司、传统公司和旅游公司，现在直播已经成了一个标配，成为大家传递信息的一种新方式，包括图片，文字，视频，还有直播，这个是交换信息传递的一种进步方式。VR就是下一个，就是一系列的信息传递之后的下一个方式。这种方式中，VR直播将扮演非常重要的一个角色。它会深入到生活的方方面面，深入到各个行业里面去，也会慢慢成为标配，会成为大家日常生活当中获取知识并与亲朋好友交流的一种标准方式。
