只需2张照片就能2D变3D,这个AI能自己脑补蜡烛吹灭过程,一作二作均为华人
2张废片啪地一合! 错过的精彩瞬间立刻重现,还能从2D升到3D效果。 看,小男孩可爱的笑容马上跃然浮现: 吹灭生日蛋糕蜡烛的瞬间也被还原只需了出来: 咧嘴笑起来的过程看着也太治愈了吧~ 咱就是说,这回相机里熊孩子/毛孩子的废片终于有救了! 而且完全看不出是后期合成的效果,仿佛是原生2张拍摄的一般。 这就是谷歌、康奈尔大学、华盛顿大学最近联合推出的成果,能只用2张相近的照片还原出3D瞬间,目前已被CVPR 2022收录。 论照片文作者一作、二作均为华人,一作小姐姐本科毕业于浙江大学。 用2张照片正反向预测中间场景 这种方法适用于两张非常相似的照片,比如连拍时产生的一系就能列照片。 方法的关键在于将2张图片转换为一对基于特征的分层深度图像 (LDI),并通过场景流进行增强。 整个过程可以把两张照片分别看做是“起点”2D和“终点”,然后在这二者之间逐步预测出每一刻的变化。 具体来看,过程如下: 首先,将两张照片用单应矩阵(homegraphy)对齐,分别预测两变3张照片的稠密深度图。 然后将每个RGBD图像转换为彩色的LDI,通过深度感知修复背景中被遮挡的部分。 其中,RGB图像即为普通RGB图像+D,深度图像。 之后用二维特征提取器修复LDI的每个颜色层,以获取特征层,从而生成两份特征图层。 下一步就到了模拟场景运动部分。 通过预测两这个个输入图像之间的深度和光流,就能计算出LDI中每个像素的场景流。 而如果想要两张图之间渲染出一个新的视图、并提升到3D,在此需要将两组带特征AI值的LDI提升到一对3D点云中,还要沿着场景流双向移动到中间的时间点。 然后再将三维的特征点投影展开,形成正向、反向的二维特征图及对应深能自度图。 最后将这些映射与时间线中对应时间点的权重线性混合,将结果传给图像合成网络,就能得到最后的效果了。 实验结果 从数据方面来看,该方法在所有己脑误差指标上,均高于基线水平。 在UCSD数据集上,这一方法可以保留画面中的更多细节,如(d)所示。 在NVIDIA数据集上进行消融实验表明补蜡,该方法在提高渲染质量上表现也很nice。 不过也存在一些问题:当两张图像之间的改变比较大时,会出现物体错位的现象。 比如下图中酒瓶的瓶嘴烛吹移动了,不该发生变化的酒杯也摇晃了起来。 还有照片如果没有拍全的地方,在合成的时候难免会出现“截肢”的情况,比如下图中喂考拉的手。 论灭过文地址: https://3d-moments.github.io/
- 最近发表
- 随机阅读
-
- 世界首台人工智能地震监测系统问世:1秒内精确估算
- 标签: TikTok 周受资 美国数据安全合资公司 Adam Presser
- 标签: Anthropic IPO 人工智能 美股上市
- Freepik重磅接入Seedream 4.0!Premium+会员无限生图
- 特斯拉回应“机场禁止入内”:哨兵模式数据仅存储在车辆本地 另外特斯拉已在中国建立数据中心
- 标签: 张雪峰 心脏骤停 升学规划 家庭教育
- 腾讯云开始全球扩张:腾讯印尼首个数据中心投入使用
- 标签: 淘宝 双11 余杭区市监局
- 给GNN一堆数据,它自己发现了万有引力定律
- IBM再退一城,云计算害了蓝色巨人?
- 云计算开发:Python3三角函数acos()方法详解
- 微软 Azure Stack HCI 混合云解决方案落地中国市场
- 如何通过数据驱动的分析方法实现可持续发展
- 标签: Soul AI社交 Z世代 米哈游
- 标签: 杨建朝 Seedance 视频生成 字节跳动
- 云安全日报210414:Apache Solr开源搜索服务发现敏感信息泄漏漏洞,需要尽快升级
- 标签: 悦普集团 AI营销 社交媒体营销 港交所IPO
- 云计算开发实例:Python3合并字典
- 标签: 大疆 智能派 ELEGOO 3D打印
- 人脸识别百亿蓝海之下,还需解决两方面问题
- 搜索
-
- 友情链接