从1小时到3.5分钟,Meta新算法一部手机搞定3D人脸数据采集
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 搞定这样的人脸3D建模需要几步? 在数据采集的阶段,答案是:一部手机 + 3.5分钟。 没从1错,仅凭这3.5分钟的数据,就足以生成高保真、可驱动的真实3D人脸头像。 这项研究来自Meta Reality Labs——就是扎克伯格元宇宙计划里的那个核心部门。论文已经小时被SIGGRAPH 2022接收。 作者提到,这一方法适用于VR应用。 也就是说,在VR的世界里,以后你可能就不必顶着一张卡通脸登场了。 而是可以方便地与胖友们“真身”相见。 方到3法原理 实现这一结果的方法框架如下图所示: 具体而言,分为三个部分。 首先,是要用大型多视角人脸数据集训练一个超网络,这个超网络可以通过神经网络解码器产生专属于个人的.5头像参数。 数据集中的人脸由多视角捕捉系统采集,包括255位不同年龄、性别和种族参与者的面部图像数据。 △左为图像捕获设备;右为采集到的人脸 这个捕获3D人脸的巨型装置是M分钟eta在2019年研发的,其中配备171个高分辨率摄像头,每秒能记录180GB数据。采集时间在1个小时左右。 值得一提的是,在这个超网络中,解码器的基本组成模块是带,M有bias map的卷积上采样层。 这些bias map会被用来生成体积单元,进而通过射线追踪来渲染头像。 另外,该解码器结构能够将视线与其他面部活动区分开,这在VRet应用中意味着能够更直接地利用眼动跟踪系统。 其次,是轻量级人脸表情捕捉。 在这项研究中,采集人脸只需要用到一部带有深度摄像头的智能手机。 实验中,研究人员采用的是iPhona新e 12。 采集过程就像这样: 采集到的数据要进行如下处理: 获取每一帧人脸图像中的几何形状和纹理;对输入的RGB图像进行人脸标志检测和人像分割;对模板网格进行拟合和变形,以算法匹配检测到的人脸标志物、分割轮廓和深度图;对每一帧图像的纹理进行解包,而后汇总得到完整的人脸纹理。 在进一步完善模型的过程中,还需要采集65种特定的表情: 最后,一部该方法输出的3D人脸头像不仅能与用户外观高度匹配,通过全局表情空间,还能对其进行进一步的驱动、控制。 研究人员表示,整个采集过程大概要花费3.5分钟。 不过需要说明的是,手机建模的过程不是实时的,数据处理还要花费数小时的时间。 实验结果 说了这么多,效果如何,我们还是来看实验结果。 与Pinscreen提出的“一张照片构建3D数字化身”(CVP搞定R 2021)的方法相比,该方法能生成更具真实感的人脸模型。 而与海德堡大学、慕尼黑工业大学、马普所等研究机构在Neural Head Avatars from Mon3Docular RGB Videos一文中提出的方法相比,该方法能生成保真度更高的结果。 不过,作者也指出了该方法的局限性:hold不太住长发和眼镜,容易产生伪影。另外人脸,该方法对于光照条件也有一定要求。
- 最近发表
- 随机阅读
-
- 赢得版权诉讼的谷歌将停用甲骨文财务软件:转投SAP怀抱
- AI化身监工,上班还能摸鱼吗?
- 标签: 小米集团 AI手机 智能电动汽车 小米手机
- 最新数据显示:网络上超过 50% 的文章是 AI 生成的
- 标签: 亚马逊 Prime Now 京东秒送 淘宝闪购
- 京东开源人脸识别工具包:覆盖最强模型,支持训练跑分
- 通过 Kubernetes CSI 实现 Longhorn 卷快照备份、恢复、克隆与扩容功能
- Google发布语义分割新数据集!顺带开发个模型屠榜,已被CVPR2021接收
- Periscope创始人王者归来!Macroscope获3000万美元A轮,AI代码分析引擎瞄准开发者痛点
- 标签: 傅里叶半导体 智能音频芯片 港交所上市 触觉反馈芯片
- 标签: 纳真科技 光芯片 DFB激光芯片 AI算力网络
- 英特尔新CEO上任发言:在所竞争的每一个业务领域都成为引领者
- 云服务商Fastly道歉:软件漏洞导致昨日全球大量网站宕机
- AI视频革命!Grok Imagine v0.9一键变身“电影导演”,上传图片秒出带唱带跳大片
- 标签: 丰茂烤串 尹龙哲 欠薪事件 餐饮连锁
- 标签: 苹果 詹南德里亚 苏布拉马尼亚 人工智能
- 云安全日报220707:思科Expressway系列和网真视频通信服务器发现远程攻击漏洞,需要尽快升级
- 斯坦福大学:人工智能本科 4 年课程清单
- 标签: 张雪峰 心脏骤停 升学规划 家庭教育
- 人工智能的8种工业4.0指标
- 搜索
-
- 友情链接