iPhoneX面部表情识别数据导入Maya 结果令人震惊

iPhone X 上市后，不少用户已经在朋友圈晒过一轮“独家定制”的Animoji了。雷锋网曾发文讲到面部动作识别和追踪原本常用于电影拍摄中，如大家最熟悉的《阿凡达》，随后通过机器学习，用大量表情训练算法，来创建3D模型，直到今天苹果将其融入到手机中。

那么，如果把iPhone X的前置摄像头看作是一个面部捕捉系统，它捕捉的面部表情数据能被用在游戏的虚拟角色中吗?雷锋网了解到，一个月前，Kite & Lightning游戏工作室的创始人Cory Strassburger进行了一项大胆的尝试：将iPhone X捕捉到的面部表情，植入Maya软件中，从而为虚拟动画形象快速配上表情。

说起Kite & Lightning，想必一些 VR 爱好者并不陌生。这家游戏工作室去年发布了一款沉浸时迷你歌剧《Senza Peso》，其中也使用到了眼部追踪技术。同时，他们还开发了一款名为《Beblon Battle Royle》的 VR 游戏。

对于此次大胆的尝试，Cory想看看，能否通过iPhone X的面部捕捉系统，可快速、便捷地为游戏中的人物加入个性化色彩。

经过一番试验后，“我目前的结论是，iPhone X 生成的面部数据精细程度令人震惊，而且数据稳定，属于正常运行。它能精准地步捕捉到非常细微的动作，甚至是很小幅度的抽动，数据完全可以使用。”

Cory认为，这代表一种相对较便宜的面部捕捉方式。同时，手机移动端的形式更容易设置，以及对面部捕捉实现应用。看起来，苹果此前所收购的Faceshift公司，为此贡献了很大的功劳。尽管，Cory也注意到，Faceshift 原本的解决方案拥有其他很酷的功能，但iPhone X收集的面部表情数据已经足够使用。

此外，他还公布了自己在Maya中是如何操作的：

在Unity中导入《Beblon Battle Royle》的一个游戏角色，并将ARKit输出的面部捕捉数据混入该角色中。

为了将表情数据导入Maya，增加记录功能，将面部表情数据录入一个文档，本地保存在iPhone上。每次开始和停止都会在手机中生成独立的文档，并且重新命名。

从iPhone X中复制这些文档，通过USB传输到桌面。

为了将面部数据导入Maya，需要重新格式化，于是我重开发了一款桌面应用，格式化数据，将数据转化为Maya.anim 文档。

把这些文档导入Maya和游戏角色中，你在手机上呈现的表情，便出现在游戏角色上了。

不过，过程中在数据方面还是出现了一些小问题，他认为可能是代码的问题。同时，由于面部表情捕捉时的刷新率为每秒60帧，而导入到Maya中，刷新率为每秒30帧，这导致效果有些打折扣。

他认为，“iPhone X的TrueDepth系统最厉害的地方在于，其表情捕捉简单，而且快捷，然后可以了里面将数据导入游戏引擎中。手机捕捉的数据完全可以使用。”

雷锋网了解到，这次尝试成功后，下一步，Cory想把iPhone X放在头盔上，然后使用Xsens动作捕捉系统同时实现身体和面部的动作捕捉。

他说，“对下一步的尝试，我非常有信心。通过加入动作捕捉数据，游戏人物将会有很大的提升，我还会加入带有皱纹的皮肤，与对应的表情相混合，这会使动画人物更鲜活。”