仅需2张图,AI便可生成完整运动过程
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 先给一张侧脸(关键帧1): 再给一张正脸(关键帧2): 然后仅仅根据这两张图片,AI处仅需理了一下,便能生成整个运动过程: 而且不只是简单的那种,连在运动过程中的眨眼动作也“照顾”得很到位。 效果一出,便在Reddit上引发了不少热议: 仅需2个关键帧,2张如何实现完整运动? 不需要冗长的训练过程。 不需要大量的训练数据集。 这是论文作者对本次工作提出的两大亮点。 具体而言,这项工作就是基于关键帧将视频风格化。 先输入一个视频图,序列 I ,它由N个帧组织,每一帧都有一个掩膜Mi来划分感兴趣的区域。 与此前方法不同的是,这种风格迁移是以随机顺序进行的,不需要等待顺序靠前的帧先完成风格化,也不AI需要对来自不同关键帧的风格化内容进行显式合并。 也就是说,该方法实际上是一种翻译过滤器,可以快速从几个异构的手绘示例 Sk 中学习风格,并将其“翻译”给视频序列 I 中的任何一便可帧。 这个图像转换框架基于 U-net 实现。并且,研究人员采用基于图像块 (patch-based)的训练方式和抑制视频闪烁的解决方案,解决了少样本训练生成和时间一致性的问题。 而为了避免过拟合,研究人员采用了基于图像块的训练策略。 从原始关键帧(Ik)中随机抽取一组图像块(a),在网络中生成它们的风格化对应块(b)。 然后,计完整算这些风格化对应块(b)相对于从风格化关键帧(Sk)中取样对应图像块的损失,并对误差进行反向传播。 这样的训练方案不限于任何特定的损失函数。本项研究中,采用的是L1运动损失、对抗性损失和VGG损失的组合。 另一个问题便是超参数的优化。 这是因为不当的超参数可能会导致推理质量低下。 研究人员使用网格搜索法,对超参数的4维空间进行采样:Wp—过程—训练图像块的大小;Nb——一个batch中块的数量;α——学习率;Nr——ResNet块的数量。 对于每一个超参数设置: (1)执行给定时间训练; (2)对不可见帧仅需进行推理; (3)计算推理出的帧(O4)和真实值(GT4)之间的损失。 而目标就是将这个损失最小化。 团队介绍 这项研究一作为Ondřej Texler,布拉格捷克理工大学计2张算机图形与交互系的博士生。 而除了此次的工作之外,先前他和团队也曾做过许多有意思的工作。 例如一边画着手绘画,一边让它动起来。 再例如给一张卡通图片,便可让视频中的你顶图,着这张图“声情并茂”。 想了解更多有趣的研究,可戳下方链接。 参考链接: [1]https://www.reddit.com/r/MachineLearning/commeAInts/n3b1m6/r_fewshot_patchbased_training_siggraph_2020_dr/
[2]https://ondrejtexle便可r.github.io/patch-based_training/index.html
- 最近发表
-
- Google发布语义分割新数据集!顺带开发个模型屠榜,已被CVPR2021接收
- 云计算开发:Python内置函数-zip()函数详解
- 谷歌和脸书在美面临的五起反垄断诉讼:规模和关键指控分别为何
- 亚马逊云科技的工业设备预测性维护服务Amazon Lookout for Equipment正式可用
- 云计算核心技术Docker教程:使用卷和网络来持久化我们的数据
- 亚马逊B2B业务潜力不俗:销售额或在5年内超越B2C
- 云计算核心技术Docker教程:Docker Hub设置Slack集成
- 阿里通义 Qwen3-VL 新增 2B、32B 两个模型尺寸,手机也能轻松运行
- 标签: 雷军 小米 徐洁云 KOL
- 标签: Runway Gen-4.5 英伟达 David
- 随机阅读
-
- 微软史上第二大规模收购出炉:或于周一收购语音识别公司Nuance
- 标签: 硅基流动
- 人工智能有能力部署到的几个应用
- 标签: 东安控股 保时捷中心 郑州中原
- 云原生架构日志监控优秀实践
- 标签: 携程 孙洁 全员信 度假福利金
- Anthropic发布Project Deal:Claude完成186笔自主交易,交易额超4000美元
- 体育锻炼手抄报
- 手镯取不下来怎么办
- 研究揭示:Pangram 成本最低、最精确,或将重塑 AI 内容识别标准
- 烫面炸糕最正宗配方
- Argo Rollouts 基于 Analysis 的渐进式发布
- 云服务商Fastly故障致数千网站瘫痪,目前已恢复
- 谷歌为美国政府提供 Gemini 人工智能工具,助力数字化转型
- 云安全日报210520:思科网络管理解决方案发现执行任意命令漏洞,需要尽快升级
- 标签: 特步 索康尼 160X7.0PRO 两千公里
- 标签: MiniMax 声网 TTS技术 实时AI
- 标签: 昉擎科技 梁军 麒麟SOC 思元290
- AI的偏见:机器就是绝对理性的么?
- AI 和 SEO 的结合:是福还是祸?
- 搜索
-
- 友情链接