专注于计算机视觉和深度学习原创技术的AI领域创新企业商汤科技日前对外界公布了针对短视频应用和直播平台背后的SenseAR增强现实感特效引擎。该引擎具有低CPU占用率、高鲁棒性,高精度等特点,在直播短视频之外领域也拥有广泛的应用空间。
AR全称为增强现实(AugmentedReality),它将虚拟的信息应用到真实世界,被人类感官所感知,达到超越现实的感官体验。今年里约奥运会闭幕式上演的“东京8分钟”采用了最新的AR技术惊艳了全世界亿万观众。2016年可以说是视频直播内容和网红经济的元年,同时从技术领域来讲也可以说是AR技术的“走红”元年。各大短视频应用和直播平台的火爆,均成为网红直播的载体。根据CNNIC的报告1显示,今年6月中国网络直播用户规模已达3.25亿,占网民总体45.8%。同时易观分析的报告2指出,2016年第四季度中国拍照类应用市场活跃用户规模将达1.79984亿。
目前在AR领域,以美国的微软、谷歌为代表的企业获得了巨大关注。但商汤科技CEO徐立博士并不认为在该领域外国企业拥有绝对的优势。此次商汤推出的SenseAR增强现实感特效引擎为完全自主研发产品,具有全球领先的面部特征点定位、人脸检测及追踪等技术,也是目前世界上唯一支持手势前背景移动端实时检测和绘制的特效系统。SenseAR特效引擎可准确定位并识别面部动作,不同的手势,并实现AR特效美化,直播APP最终可以打造出卖萌、搞笑,甚至穿越的效果,同时还支持换脸、美颜和背景更替,大幅提升短视频拍摄和直播中的趣味性。
而SenseAR增强现实感特效引擎的应用范围并不局限于直播视频领域,包括全场景视频分析、高逼真3D物体绘制、软硬件结合实现可穿戴AR等方向都可以得到应用。除此之外,去雾霾、暗光增强以及艺术创作等滤镜功能也可以在手机等行业得到应用;其中的SenseID身份验证解决方案和智能审核(鉴黄、广告过滤)等解决方案还可以为直播平台保证用户身份真实性的同时,高效地识别涉黄及“边缘”内容,提高仅人工审核的效率瓶颈。
据悉,商汤的SenseAR增强现实感特效引擎目前已覆盖移动直播、秀场直播、游戏直播、教育直播、短视频、图像工具、图片社交等领域。普通用户熟悉的9158、FaceU、SNOW、YY、花椒、六间房、美图、秒拍、小咖秀、熊猫TV、一直播等应用和平台,以及OPPO、华为的部分手机产品均采用了商汤科技的技术。
SenseAR增强现实感特效引擎特点:
性能优异:在主流手机平台上可实现呈现高清特效,单功能延迟仅为5~10ms,全功能延迟仅为15~30ms,同时在全功能下CPU占用率约40%;
准确度高:通过106个特征点检测可精细描述脸部细节,在人脸追踪、前背景分割方面均可保持超高准确度。同时还能够精确地获得脸部的三维转动角度,捕捉脸部点头,摇头,眨眼,张闭嘴等动作;
鲁棒性好:在不同光照背景等复杂情况下,仍具有高准确率的识别和追踪能力;
防抖稳定性强:绘制效果平滑稳定,脸部帧间稳定性高,无明显视觉可见抖动;
兼容性强:经过与大量拥有千万级日活跃用户数量的产品的长期合作,性能指标得到充分的验证,对iOS、Android平台各种机型均有良好的兼容性。