谷歌AI玩新花样 手机拍视频可实时换背景

导读:机器学习证明了它对于新视频效果技术的价值:以每秒100帧的速度区分脸部和背景。

近日,谷歌的人工智能研究人员有了一个新花招:以今天的静态照片的方式为自拍视频提供新的背景。

谷歌AI玩新花样 手机拍视频可实时换背景

切换背景是一种已有数十年历史的技术,但它通常复杂且耗时。你可以想想,不少明星还是得在绿色屏幕前演电影,以便计算机以后可以用一些数字效果替换统一的绿色生成画面。而拥有3D场景数据(例如从新款iPhone的双摄像头提取)会使得该过程变得更加简单。

因此,谷歌训练了一个神经网络,里面有许多精心标记的图像,帮助它学习区分面部特征包括眼睛、头发、眼镜、嘴巴等等其他任何东西。结果是一个系统可以快速换出背景以跟上视频,数字视频帧以每秒30帧的速度飙升,但Google的技术在Google Pixel 2手机上以每秒40帧的速度工作,在Apple iPhone 7上每秒钟超过100帧。

想尝试一下吗?可惜目前,只有少数知名的YouTube用户可以使用这种服务,该服务提供了分享Snapchat式短视频的功能。

谷歌之前在一篇博文中详细介绍了这项研究。

谷歌AI玩新花样 手机拍视频可实时换背景

谷歌程序员Valentin Bazarevsky和Andrei Tkachenka在博客文章中表示,“我们的新细分技术允许创作者替换和修改背景,毫不费力地增加视频的产品价值,而无需专门的设备。

谷歌在其视频分割技术中使用机器学习技术,该技术可以确定可以用有趣或引人注目的东西替代的背景图像。

谷歌AI玩新花样 手机拍视频可实时换背景

该技术展示了多功能AI和机器学习技术如何解决复杂的计算问题。神经网络技术不需要知道无尽的规则,例如“脸部有两只眼睛,位于鼻子上方,除非脸部以侧面的形式被看到,在这种情况下,只有一只眼睛可见,除非受试者戴着墨镜。”它只需要接受足够多的照片的训练,这些照片由真正了解面部表情的人类标注。它已被证明是一项非常有用的技术,适用于从屏蔽电子邮件垃圾邮件到预测你想要输入到手机中的单词。

谷歌的Google Pixel 2手机中已经在相关功能中使用AI。手机只有单个相机,但AI有助于模糊肖像模式照片的背景。

相关推荐