跨界人工智能,暮光之城女主角发表学术论文
机器之心原创
作者:蒋思源、李泽南
当电影《暮光之城》的女主角 Kristen Stewart 在机器学习论文上作为作者出现时,研究人员都是感到震惊的。这位 90 后著名影星最近作为联合作者在 arXiv 上(由康奈尔大学运营的在线研究数据库)发表了一篇论文。
Stewart 和其他作者发布的这篇文章主要是涉及「神经风格迁移」,并描述这种技术在 Stewart 制作并导演的最新电影短片《Come Swim》中的应用。据导演本人描述,这部影片就像「充满诗意的,心碎人在水下的印象派画作」,它使用风格迁移技术,使电影看上去就好像是风格画一样。
「我们通过神经风格迁移(Neural Style Transfer)重新绘制了电影中的关键场景(以手绘风格表现),从而为故事添加上一些艺术手法,这些实现基本上是逐帧转换的,它提供的艺术感支撑起了整个影片。」
「绘画艺术能够在人醒来的那一刻激起冥思(在梦与现实之间交汇),而这个主题在电影中通过技术被展现了出来。风格迁移带动了镜头,导演想要表达的情感被化成算法中的参数,这比2D合成的传统方式更加传神。」
Stewart 希望利用风格转移技术完成一部新颖和优美的影片,她在论文描述了更多的技术细节,还有电影人如何才能够实现这一点。
风格迁移是一种有趣的技术,通过使用卷积神经网络来实时地改变视频画面。要做到这一点,基本上你需要做的就是将你的算法应用到图像上(如梵高的画),然后再训练你的系统学习输入内容的绘画手法,并将其应用到其他任何常规图像上。该论文简要描述了如何通过神经风格转化将印象派画作的风格带入到作品《Come Swim》中。
作为第七种艺术形式,电影一直是各种新类型技术的实验场。但使用神经网络进行风格迁移在机器学习领域内已不算新鲜事了。早在论文《A Neural Algorithm of Artistic Style》中,Gatys、Ecker 和 Bethge 等人介绍了一种使用深度卷积神经网络(CNN)分类器的方法。其 pastiche 图像是通过优化(optimization)找到的:该算法会寻找一张给出了该 CNN 的底层中同种类型激活(activation)的图像,这些底层会获取风格输入(宽笔触和立体美感等等)的整体粗糙美感;该算法还会在更高层产生激活,这是获取能使对象可被识别出来的东西,这接近于那些由内容图像所得出来的东西。从某个起始点(如:随机噪声或内容图像本身)开始,该 pastiche 会逐渐细化,直到这些要求都得到满足。
另外在2016年10月,谷歌的《A Learned Representation For Artistic Style》论文中,研究者们探讨了如何构建单个、可延展深度网络,能够捕捉不同派别的艺术风格。
近期加入谷歌的斯坦福教授李飞飞在2016年10月也作为《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》的共同作者讨论过风格迁移。他们的系统在经过训练之后,前馈网络能以比 Gatys 等人提出的基于优化的方法(optimization-based method)快数百倍的速度为图像改变风格。
论文:《Bringing Impressionism to Life with Neural Style Transfer in Come Swim》
摘要:神经风格迁移是近期开发出的先进技术,它使用神经网络艺术性的重绘(redraw) 原图像的风格。本论文探索了在制作环境中的技术应用,使用神经风格迁移用印象派绘画风格重绘电影短片《Come Swim》中的关键场景。我们记录了该技术如何在交互式的创造流程框架中进行部署,从而能获得想要的效果,也提出了一种将广阔的参数空间映射到创造性控制的关键设定的方式。我们希望这种映射方式能为未来的研究提供启发。