WebRTC，音视频会议底层支撑技术解读

WebRTC 是 Web Real-Time Communication 的缩写，是谷歌在 2011 年推出的一种技术，可以实现跨网络和本地浏览器的实时音频、视频和数据传输。

它的使命是为浏览器、移动平台和物联网设备开发构建丰富的、高质量的RTC应用，并允许它们都通过一套通用的协议进行通信。

WebRTC允许应用使用P2P通信。WebRTC是一个广泛的话题，在本文中，我们将重点讨以下问题。

1. 为什么Web RTC 如此受欢迎？
2. 在P2P连接过程中会发生什么
   1. 信号传递
   2. NATs和ICE
   3. STUN & TURN服务器
   4. VP9视频编解码器
3. WebRTC APIs
4. 安全

为什么Web RTC 如此受欢迎？

1. 开放源代码 它为浏览器提供了端到端的通信，并且很容易使用。
2. 速度提升 不需要通过服务器进行路由，它减少了延迟和带宽消耗。直接通信提高了数据传输&文件共享的速度。
3. 不需要第三方应用程序 不需要额外的软件、插件或服务器持续参与（仅在初始的时候需要）。可以轻松嵌入到任何网站中，就可以连接互联网上的Peer。
4. 易于实现 使用P2P（点对点）连接更加容易。所有的功能都可以通过客户端完成。开发者只需要下载一个与WebRTC兼容的浏览器。
5. 兼容性 支持大多数流行的浏览器。Microsoft Edge、Google Chrome、Mozilla Firefox、Safari、Safari、Opera、Vivaldi。支持Android、Chrome OS、Firefox OS、黑莓10、iOS、Tizen。
6. 提供跨多种浏览器的安全连接 所有的WebRTC组件都必须进行加密。由于它不是一个插件，所以它运行在浏览器的沙盒内，不需要创建一个新的进程，这样就不会有任何恶意软件进入用户操作系统。无需跟踪更新。它会随着浏览器版本的自动更新。

在P2P连接期间会发生什么？

要连接两个浏览器，Web RTC需要执行五个步骤来建立P2P连接。

1. 信号处理，以去除音频或视频中的环境噪声。
2. 编解码器处理，以压缩和解压音频或视频。
3. 通过防火墙、（NAT）和中继器建立从一个Peer 到另一个Peer的路由，以创建一个ICE(交互式链接建立)。
4. 用户数据在进行连接传输前都会进行加密。
5. 管理带宽，给每个Peer的带宽不同

信号传递

浏览器中的P2P连接由服务器建立，以确保所有Peer同意建立会话。

Peer之间共享会话密钥、错误信息、媒体元数据、编解码器、带宽、公共IP地址和端口等信息以创建连接。
服务器向两个Peer发出信号，以确定使用什么媒体格式以及每个Peer要向对方发送什么。

网络地址转换（NAT）和ICE

NATs将家庭路由器等设备上的私有IP地址转换为公网IP地址。防火墙和NATs通过阻止特定的协议或端口来减慢这一过程。WebRTC使用的解决方案是ICE框架。

ICE通过并行尝试所有连接并选择最有效的路径，在互联网上建立P2P连接。有两种类型的连接可选 STUN & TURN

STUN服务器

它首先连接到STUN(Session Traversal Utilities for NAT)服务器，获得直接连接。

STUN服务器为请求者提供了公网IP地址，以便与他人进行通信。其目的是帮助请求者回答 "我的IP地址是啥 "这个问题。

STUN服务器如何工作

要建立与其他Peer的连接，需要终端知道自己的公网IP才能与他人共享。

1. 当一个Peer(Calvin)在NAT/防火墙后面时，它只能识别它的私有IP地址，而另一个Peer(Elana)由于防火墙的安全性，无法连接到本地IP。
2. 这个Peer会向STUN服务器请求，获取它的公网IP地址和一种可用NAT类型。
3. 另一个Peer(Elana)可以使用STUN服务器给定的公网IP地址尝试进行连接。
4. 如果成功，数据将通过点对点网络传输，而不需要第三方或其他服务器。
5. 为了安全起见，所有STUN服务器将被丢弃并等待下一次查询。

限制 - 对称NAT

但是，上述情况有时可能会失败，IP地址和端口会发生变化。
这种情况称为 "对称NAT"，STUN服务器的公网IP地址没有足够的能力在这里建立连接，因为端口也需要转换。

有些路由器使用对称NAT，是为了使终端设备更加安全，或者说避免很多陌生人连到你的设备上。对称NAT不仅可以将IP地址从私有地址转换成公共地址，还可以转换端口。

换句话说，路由器只会接受用户已经有过的连接。因此，另一种确保两个Peer之间连接的解决方案是通过TURN服务器。

为什么STUN服务器如此有用

作为一种协议，STUN具有超快、轻量的特点。它可以在很短的时间内将数据直接传送给对方。STUN有利于加快连接速度，更快地获取结果。

当用户使用LAN局域网传输数据时，场景类似，比使用Wi-Fi传输更快。最重要的是，可以直接在两个Peer之间传输数据。

TURN 服务器

TURN（Traversal Using Relays around NAT）服务器作为中继服务器，以防P2P连接中断。当STUN服务器用于建立连接时，TURN服务器在整个连接过程中保持活跃。

TURN服务器在WebRTC Peer之间不断中继数据。这就是为什么用 "中继 "一词来定义TURN。

TURN 服务器如何工作

这个中继服务器是在STUN服务器出现故障时用来中继流量的，同时也具有STUN的功能。

TURN服务器是一个内置传输功能的STUN服务器。更具体地说，TURN是用来中继Peer之间的音视频/数据流，而不是信令数据。

• 按照上文STUN服务器的步骤运行
• 如果STUN失败，终端用户会与TURN服务器建立连接，通知所有Peer向服务器发送数据，服务器负责向第一个终端用户传输数据。

为什么总是先使用STUN服务器，主要原因是TURN服务器成本太高，如果在线传输高清视频的话，会消耗大量带宽。

VP9视频编解码器

为什么很多人开始使用WebRTC，其中一个主要原因就是因为视频。随着视频直播越来越成为主流，视频质量的要求也越来越高，这就要求数据传输的速度要快，或者数据包的大小要小，才能方便传输速度高。

VP9视频编解码器用于对音频或视频进行压缩和解压。音视频数据压缩后大大减小体积，因此VP9可以帮助流媒体视频更快传输。Safari 12.1（通过支持VP8）可以与其他Peer进行在线实时视频。

VP9是在VP8的基础上改进而来的，是谷歌旗下的由On2科技公司创建的视频压缩格式。主要功能是隐藏丢包和清理嘈杂的图像，以及多平台的采集和播放功能。

通过VP9，用户可以使用WebRTC传输720p视频，而不会出现丢包或延迟。同时，它还可以在同样的带宽下支持1080p视频通话，并帮助优化连接和数据使用，避免带宽成本过于高昂。

JS APIs

有三个主要的Javascript API可以处理音频捕获、视频会议和数据传输。

MediaStream

使用用户的摄像头和麦克风来获取和传输音频和视频。使用这个API可以让你获得麦克风和网络摄像头等设备的访问权限。

当开发人员将WebRTC集成到他们的网站中时，他们可以对他们想要的音频和视频流的参数进行设置，比如帧率、视频帧的大小、分辨率等。

这个API是作为HTML 5的一部分提供的，而其他两个API是专门为WebRTC提供的。

RTCPeerConnection

将采集到的音视频流实时发送至另一个WebRTC Peer。使用该API，用户可以将getUserMedia捕获的音频和视频传输给其他Peer。

该API具有连接到远程Peer，维护和监控连接，并在完成后关闭连接等功能。

RTCDataChannel

传输任意数据。每个数据通道都与一个RTCPeerConnection相关联。内置安全（DTLS）和拥塞控制。

安全

在实时通信的数据传输过程中可能会产生很多安全风险。因此，加密是WebRTC的强制性功能，并在所有组件上强制执行。

WebRTC使用两种标准加密协议。

数据报传输层安全协议（DTLS）

• 一种建立在浏览器中的标准化协议。它用于加密数据流。它基于传输层协议（TLP）。
• 保留了传输语义，DTLS使用用户数据协议（UDP）。
• 它是安全套接字层（SSL）的扩展；任何SSL协议都可以用来保护WebRTC数据的安全，允许端到端加密。

安全实时传输协议(SRTP)

• 用于加密媒体流。
• 它是实时传输协议（RTP）的扩展，RTP没有任何内置的安全机制。
• 在RTP的基础上增加了保护、完整性检查和消息认证。
• 缺点是 虽然它为RTP数据包提供了加密，但它并没有对报头进行加密。

确保2个Peer之间连接安全的步骤

1. 启动信令过程在两个Peer之间交换元数据。
2. 执行ICE检查，ICE在双方之间建立通道。
3. 进行DTLS握手。如果有多媒体传输，SRTP使用DTLS握手步骤中导出的密钥。
4. 所有Peer都有安全通道。
5. Peer之间交换密钥。

from ：https://zhuanlan.zhihu.com/p/158465843