连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 我们在打游戏、看动漫的时候,遇到过不少这样的情况: 感觉哪里不太对…… 现在,这些3D人体模型可以得到改进了~体态更逼真、褶皱更连肌自然、肌肉更饱满: 连情绪都显得更投入了…… 甚至肌肉颤动也清晰可见: 这么一对比,差距很明显了~ 不仅动画质量更高,这种新方法还大量减少了人工参与,制作速度更快了。 要知道,以前的动画需要繁琐的步骤,比如:搭建骨骼、肉颤蒙皮、刷权重等等……动画师往往要为此修炼数年,效果还常常不尽人意。 现在,只需一个神经网络就能搞定。 不仅如此,它还可以从形象中预测骨骼,并绑定权重,更容易地用运动捕捉来制作动画。 这一研究成果,由北京大学、北京动都电影学院等高校和机构合作完成。 相关论文《Learning Skeletal Articulations with Neural Blend Shapes》在SIGGRAPH 2021上发表,代码现已开源。 提出神经融合形清晰状技术 团队开发了一套神经网络,用来生成具有指定结构的骨骼,并且精准绑定骨骼的蒙皮权重。 它由两个部分组成:包裹变形分支(envelope deformation branch)和补偿变形分支(residual def可见ormation branch)。 其中,包裹变形分支通过间接监督,学习由偏移量组成的特定骨架层次的装配参数,最后从输入角色中预测出骨架、蒙皮和权重绑定。 你可能会说,常用的动画制作工具Mixamo中,也有绑定!3和蒙皮。 但是新方法能做的不只这些,它还可以准确预测与模型高度匹配的骨骼,并绑定权重。 从而更容易进行动作捕捉,制作动画: 并且,利用一种神经融合形状(neural blend shapes)技术,补偿变形分支可以D人根据输入的网格连接,来预测对应的融合形状(blend shapes)。 与此同时,根据关节旋转预测融合系数,然后基于此插值得到补偿变形。 比如,神经混合形状会纠正肌肉的形状,准确保留鼓起的肌肉: 与LBS(线性体模混合蒙皮)算法的效果相比,细节处理得更好: 与三维动画制作软件Blender的效果对比:(小肚腩被完美保留了) 除此之外,研究团队还对神经混合形状系数进行了可视化,可以看到左侧输出的形象,与右侧相应的姿势绑定型自。 并且,通过颜色变化,表现各关节的混合形状系数激活程度。 利用这一方法,神经网络只需观察变形后的人物模型进行间接学习,而不需要对训练数据集的变形方法有任何限制,极大扩大了适用范围。 最终实现了,实时、高质动生量的三维人物模型动画端到端自动生成。 一作来自北大图灵班 团队由来自北京大学陈宝权教授研究团队、北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学,以及苏黎世联邦理工学院的研究成算人员组成。 论文一作,是来自北大图灵班的一名本科生——李沛卓。 他毕业于重庆一中,曾入选信息学竞赛省队,2017年高考以687分考入北大。 目前,李沛卓师从陈宝权教授,研究方向是深度学习和计算机图形学,正在北京大法,学视觉计算与学习实验室和北京电影学院未来影像高精尖创新中心(AICFVE)实习。 此前,他已有论文登上SIGGRAPH。在与量子位交流时,他曾表示对图形学特别感兴趣。 论文的更多细节,感兴趣的小伙伴,可以戳链接了解一作详情。 项目主页:
https://peizhuoli.github.io/neural-blend-shapes/
论文地址:
https://peizhuoli.github.io/neural-blend-sha北大pes/papers/neural-blend-shapes-camera-ready.pdf
- 最近发表
- 随机阅读
-
- 标签: Konvy 黄清桂 CJF 美妆电商
- Meta豪掷重金拿下Midjourney授权!扎克伯格AI军备竞赛再下一城
- 标签: 悟通感控 柔性触觉传感 鲁信创投 具身智能
- 亚马逊CEO贝索斯最后一封年度股东信:还要为员工做得更多
- OpenAI与苏尔能源联手投资250亿美元!阿根廷将迎来超级数据中心!
- 无代码平台如何通过SaaS推动初创企业的增长?
- 吴洪声朋友圈怒怼老东家腾讯云:CDN是“垃圾中的垃圾”,欠费7分钱遭“满门抄斩”
- 用Elastic Block Store(EBS)改善性能和数据可用性 译文
- 标签: 地瓜机器人 具身智能 机器人产品 B2轮融资
- 标签: 小马智行 Robotaxi PonyWorld 丰田铂智4X
- 标签: 众擎机器人 深圳众擎 赵同阳 工业机器人
- 标签: 国家计算机病毒应急处理中心 丝芙兰 雷速体育 泡泡玛特
- OpenAI惹怒用户!神秘模型暗中操控聊天内容
- 标签: 王暖暖 无忧传媒 孕妇泰国坠崖案 脑动脉瘤
- 蔬菜农药残留怎么清洗
- 电子狗惨遭丢弃,戴上VR头显找到老友!Meta打出元宇宙感情牌
- 标签: 药明康德 CRDMO 小分子D&M WuXi Chemistry
- 黄山的云海有哪些特点是什么
- 标签: SK海力士 HBM DDR5 NAND闪存
- 华为要向苹果、三星、小米等收5G专利费,伤害不大,侮辱性极强
- 搜索
-
- 友情链接