使用深度神经网络在Oculus Quest上进行准确的手部追踪

作者：Shangchen Han, Beibei Liu, Tsz Ho Yu, Randi Cabezas, Peizhao Zhang, Peter Vajda, Eldad Isaac, and Robert Wang

翻译：吴金笛

校对：和中华

本文约750字，建议阅读3分钟。

本文简单介绍了最新的手部跟踪技术。

手部跟踪技术是什么

Facebook Reality Labs和Oculus的研究者和工程师开发出了目前为止唯一完全依赖单色摄像机的、完全铰接的VR手部跟踪系统。该系统不使用主动式深度感知技术或任何附加设备(如配置的手套)，我们将把这项技术作为Oculus Quest的软件升级。Oculus Quest是一款无缆线、独立的VR头戴设备，现在已供消费者使用。

通过将Quest的四个摄像头与深度学习和基于模型跟踪的新技术结合，我们实现了一个比基于深度的解决方案更大的交互量， 我们只需要很小的尺寸，重量，电源和成本，处理完全在设备上完成，并且系统经过优化以支持交互手势，例如通过指和捏进行选择。

手部跟踪技术如何工作

深度神经网络用于预测一个人的手（比如手的关节）和地标的位置，然后这些地标被用来重建该人的手和手指的26个自由度姿势。结果是一个三维模型，包括手的配置和表面几何形状。API将使开发人员能够使用这些3D模型在他们的应用程序中启用新的交互机制或驱动用户界面。

VIDEO:

https://www.facebook.com/FacebookAI/videos/993967640943607/

我们使用了一种新颖的跟踪架构，该架构能够在各种环境下产生准确的、低抖动的手势估计，并且使用了一种高效的量化神经网络框架，该框架能够在移动处理器上实现实时的手部跟踪，同时又不会影响专用于用户应用程序的资源。

手部跟踪为何重要

精确的手部跟踪可以解锁一系列的新体验，并减少Quest上现有体验的缺点。例如，人们可以通过一个手势在VR中暂停电影，并在社交游戏中更自然地表达自己。在企业应用程序中，讲师可以主持一个基于VR的培训班，而不必维护一个成对的、收费的的控制器。

更广泛地说，手部跟踪将使VR感觉更自然、更直观，并帮助开发者创造新的方式让人们在虚拟世界中进行交互。FacebookReality Labs 和 Oculus将会寻找基于这一核心技术的方法，以增强未来的其他AR/VR体验。

原文标题：

Using deep neural networks for accurate hand-tracking on Oculus Quest

原文链接：

https://ai.facebook.com/blog/hand-tracking-deep-neural-networks/

编辑：黄继彦

校对：王欣

译者简介

吴金笛，雪城大学计算机科学硕士一年级在读。迎难而上是我最舒服的状态，动心忍性，曾益我所不能。我的目标是做个早睡早起的Cool Girl。

— 完 —

关注清华-青岛数据科学研究院官方微信公众平台“THU数据派”及姊妹号“数据派THU”获取更多讲座福利及优质内容。