当程序员节遇上RTC,相芯和你聊聊带宽红利时代的AI+CG
10月24日,恰逢格子衬衫控的节日——程序员节。有超3000多名RTC技术社区开发者齐聚北京,参加全球最大实时音视频技术盛会——RTC2019。相芯科技作为RTC开发者大会的老朋友,不仅在展区带来了视频AR特效、虚拟形象自动生成、AI虚拟主播、AI虚拟助手等产品解决方案。同时相芯科技的CTO秦昊博士,在【下一代RTC】论坛带来了关于《智能图形学的进展及应用》的技术分享,共同探讨在带宽红利时代,AI+CG技术如何给让视频更加智能、更加丰富这一新议题。
RTC开发者大会的影响力正在不断壮大,基于技术的发展和对音视频的需求不断增加,RTC 大会在议题方向和覆盖行业等方面一直在不断更新迭代。2015 年和 2016 年 RTC 大会主要聚焦在实时音视频、实时通信相关的技术应用。在 2017 年增加了 VR(VR 声音的泛娱乐探索、VR 多人实时互动中 3D 音场及动作同步工程实践)、AR(移动直播 AR 技术)相关的技术。到了 2018 年,机器学习(无人驾驶、人工智能与视频处理)、AR(AR 眼镜的商业化之路、AR 中的模型同步)等议题也出现在 RTC 大会的日程上。今年的技术分享,囊括编解码、传输架构、QoE、AI(实时超分辨率、语音鉴黄、AI 音频美化)到 5G、Flutter(Flutter 浪潮下的音视频研发探索)这些开发者关心的热点技术。
5G的速度提升,带来移动体验新标准
每一代移动设备的更新都带来了移动体验的新跨越。例如,从2G到3G,从IM短信时代进化到手机彩信邮件等时代。4G的引入,则催生了全民直播和流媒体的时代。而5G的到来,可以带来更多的想象空间。5G将逐步取代现有的4G网络,将蜂窝实际数据传输速度从10-15 Mbps提高到100+ Mbps。更快的速度和更快的连接将为现有的移动体验创造新的标准,用户可以体验低延时、更高清的视频播放,AR和其他虚拟现实相结合的更丰富的互动形式,以及创造更多富有创造性的新体验。5G的到来,让视频内容成为互联网应用的主流,如何能够低成本、快速地生成更多新奇、有趣的视频内容成为核心。相芯科技专注的智能图形学领域,让AI与CG结合,恰恰是在于解决在消费级领域,普通用户低门槛地创作和生产新的内容这个问题。
千人千面的卡通形象,AI让AR更懂人心
只要一张正面自拍,就能立刻生成一个和自己高度相似的卡通形象,还能实现卡通形象的实时驱动。全自动生成、只需普通摄像头、支持个性化自定义、可接入各大应用场景……相芯科技将复杂的技术难题解决,将丰富有趣的效果和低门槛的使用条件留给用户,使得这项虚拟形象自动生成技术可以被接入到各种平台设备中,可应用于虚拟社交、短视频、直播等各种应用场景中。
让人像美化更智能
传统的人像美颜方案主要基于图像处理技术方案,比如美白、磨皮。相芯的人像智能美化方案更多地利用AI技术对人像进行更深入的理解,实现美妆、美发、美体等立体化全身的美化方案。比如针对美妆,相芯根据需求生成了209个人脸关键点点位,使得妆容更加细致多元化,同时还利用图像渲染技术,优化口红、眉毛等视觉表现。针对美发,则通过神经网络进行语义,将发型区域分割出来,进而实现实时变色,并支持任意颜色的自定义设置。针对美体方案,相芯科技基于人体检测和关键点追踪模型,可以实现实时进行人体微调,实现对肩、胯、腿、身形等部位的细致美化,达到长腿、瘦身等各种美体塑形效果。
让视频生产自动化智能化
只需要输入一段文字,算饭就会自动生成一个虚拟形象有表情有动作的播报视频。这是相芯科技目前应用于AI虚拟主播、AI智能助手的语音动画合成技术(STA)。在相芯科技打造的解决方案中,具体虚拟形象类型丰富、人物表现力强、多平台适配、视频合成便捷等特性。
目前相芯的AI虚拟主播方案已经在很多主流媒体里投入使用,如世园会的吉祥物、钱江台的小范儿、济南广电的小沫儿等等。同时相芯的AI虚拟助手解决方案也在汽车智能助手、智能金融、智慧医疗领域投入使用。
RTC展区现场互动人气高
在整个RTC开发者大会期间,相芯科技在展区带来了最新的产品demo,让更多对相芯科技技术感兴趣的开发者第一时间实时体验和交流。在现场生成自己的卡通形象、和智能助手聊天,干货满满的技术分享和切实的产品体验让更多开发者对产品的技术合作表现出浓厚的兴趣。
能在消费级领域打造更多有趣的具有创造性的技术,是5G时代互联网的应用领取的一个新趋势,相芯科技专注于人工智能和计算机图形学的融合与创新,将会为消费级应用打造更多内容创作工具、平台和解决方案。