CMU研究员拿手机录视频,人脸3D建模高度逼真!

原标题:CMU研究员拿手机录视频,人脸3D建模高度逼真!

微贾环保有限公司

来源:techxplore,新智元 编辑:梦佳

【导读】3D人脸建模技术一般成本高昂。而现在,卡内基梅隆大学的研究人员通过在智能手机上录一段视频,就能轻松完成!而且效果逼真又不吓人。

拿手机拍一段视频就能实现人脸3D建模,高度逼真!

还记得阿凡达里的3D人脸数字建模吗?阿凡达的人物3D建模是 利用通行已久的 LightStage 技术将目标对象360 度拍出各角度完整影像之后经过标记与微调后让程式自动建模与贴图。 南加大团队打造了拥有球体外型的“LightStage”硬件设施,剧组演员进入球体拍摄不同光线来源与亮度的照片,再运用计算机程序,打造逼真的人脸模型,进而做出电影中的虚拟角色。

而这种3D人脸建模技术一般需要非常昂贵的设备和专业技术才行。而现在,卡内基梅隆大学的研究人员通过在普通的智能手机上录一段视频,就能轻松完成!而且效果逼真又不吓人。

轻轻松松实现人脸3D建模

用智能手机连续拍摄包含面部正面和侧面图像的视频会产生大量的数据。卡内基梅隆大学机器人学院研究中心开发了一个两步过程, 在深度学习算法的帮助下,进行了人脸模型的数字重建。该团队表示,他们的实验方法精度可以达到 亚毫米级别,比其他基于摄像机的建模过程效果更佳。

动画片中的应用

‍VR虚拟现实应用

机器人学院的副研究教授 Simon Lucey 说: “ 人脸的3D重建一直是计算机视觉和图形学领域的一个悬而未决的问题,因为人脸面部特征非常细致入微。如果重建过程中出现轻微异常,也会让最终结果看起来和实际的面部特征差很多。”

激光扫描仪、结构光和配备多个相机设备的工作室可以产生高精度的面部扫描结果,但是这些专业的传感器对于大多数应用场景来说昂贵得让人望而却步。然而,卡内基梅隆大学新开发的方法 只需要一部智能手机。

这个方法由Lucey 与硕士生 Shubham Agrawal 和 Anuj Pahuja 共同研发,于3月初举行的 IEEE 计算机视觉应用冬季会议上展示。首先要拍摄15到20秒的一个视频。研究人员使用iPhone x 的慢动作功能进行了拍摄。

“ 高帧率的慢动作是我们设计方法的关键之一,因为它生成了一个密集的点云,”Lucey 说。

深度学习算法助力建模

然后,奥门威尼斯误乐城研究人员采用了一种常用的技术,叫做 视觉即时定位与地图构建(SLAM)。可视 SLAM 将表面上的点进行三角测量以计算其精确的形状,同时利用这些信息来确定摄像机的位置。这种技术可以创建人脸的初始几何图形,但缺少的数据会在模型中留下空白。

“深度学习是我们每天都在使用的一个强有力的工具,” Lucey 说。“但是深度学习会倾向于记忆解决方案” ,但是面部细节千差万别,记忆功能并不利于区分这些差别。

这种方法比较耗时,需要30-40分钟的处理时间。但是整个过程都可以在智能手机上完成。

除了面部重建,卡内基梅隆大学研究小组的方法也可以用来捕捉几乎任何物体的几何形状。然后,这些物体的数字重建可以被整合到动画中,或者通过网络传输到可以复制物体的3D 打印网站。

参考链接:https://techxplore.com/news/2020-04-smartphone-videos-highly-realistic-d.html

腾讯网

2月21日,新春伊始,中国商务广告协会会长李西沙考察数字营销委员会理事单位杭州泰一指尚科技有限公司(以下简称泰一指尚)杭州总部及创新技术展示中心,与泰一指尚董事长江有归、CEO付海鹏等公司高管会面,就行业热点问题和战略合作意向,以及企业升级、产品升级、服务升级、消费升级的概念、内容和方法等问题进行了深度探讨。

2020年4月3日0—24时,湖北省新增新冠肺炎确诊病例1例,其中:武汉市1例,为无症状感染者转确诊。无境外输入病例。

【比特币上破9000美元关口】交易平台Bitstamp报价显示,比特币上破9000美元关口,为9月24日以来首次。

posted @ 2020-04-07 21:16 作者:admin  阅读:

Powered by 奥门威尼斯误乐城,澳门威尼人斯,澳门网上威尼斯0168 @2018 RSS地图 html地图

Copyright 站群系统 © 2013-2018 版权所有