53帧变900帧!AI让你不用昂贵的高速摄像机也能制作慢镜头
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 要制作慢动作视频就必须要用死贵的高速摄像机? NO! 可以用AI。 看到没,这就是AI完成的效果! 虽然和真正的高速摄像机至少上千的帧数没法53比,但它完全可以做到每秒53֡的视频轻轻松松变成960֡,没有伪影也没有噪声。 很多网友看完效果都按耐不住了:“非常想要一个深入的教程”、“能不能出一个应用程序?”…… 而这项酷毙的研究成果也成功入选CVPR 2021,研帧变究人员来自华为苏黎世研究中心和苏黎世大学。 当然,也用了一个特殊的摄像头 实现这一效果没有采用通过视频光流来猜测粒子运动的经典思想,而是先用了两个摄像头来捕捉画面。 一个就是普通摄像头,记录低帧(20-60FPS)真实画90面; 要想达到慢动作效果,起码得每秒300张画面才够;20帧的视频给的信息太少了,没法直接合成慢动作。 怎么办?靠另一个特殊的摄像头—— 也就是事件相机(也称为神经形态相机),它使用新型的传感器,拍摄的是“事件”,也就是0帧记录像素亮度变化。 事件相机还比较新兴,实验室里有很多,市场上还没有大规模问世,报价有2000美元一个或更高。 由于该相机记录的信息经过压缩表示,因此可以较低的清晰度、高速率进行拍摄,也就是牺牲图像质量换取更多图像信息。 最!A终的信息量足够AI理解粒子的运动,方便后续插值。 这俩相机同步拍摄到的内容合起来就是这样的: 拍好以后,就可以使用机器学习来最大化地利用这两种相机的信息进行插帧了。 研究人员在这里提出的AI模型叫做Time Lens ,I让一共分为四块。 首先,将俩相机拍到的帧信息和事件信息发送到前两个模块:基于变形(warp)的插值模块和合成插值模块。 基于变形的插值模块利用U形网络将运动转换为光流表示,然后将事件转换成真实的帧。 合成插值模块也是利用U你不形网络将事件置于两个帧之间,并直接为每个事件生成一个新的可能帧(现在就为同一事件生成两个帧了)。 该模块可以很好地处理帧之间出现的新对象以及光线变化(比如水反射啥的)。 不过到这里的话,合成的视频可能会有一个问题:出现噪用昂声。 这时,第三个模块的作用就派上用场了,它使用第二个插值合成模块中的新信息来细化第一个模块。 也就是提取同一事件的两个生成帧中最有价值的信息,进行变形优化——再次使用U-net网络生成事件的第三个帧版本。 最后,这三贵的个候选帧被输入到一个基于注意力的平均模块。 该模块采用三帧表示中最好的部分将它们组成最终帧。 现在,有了帧之间第一个事件的高清帧后,再对事件相机提供的所有事件重复此过程,就能生成最终我们想要的结果了。 这就是使用AI高速创建逼真的慢动作视频的方法。怎么样? 附一个摄像机的参数图: 取得了智能手机和其他模型无法达到的效果 你说这个AI模型的效果好,那得对比一下才知道。 比如上面这个与最优秀的插值模型之一的DAIN(入选CVPR 19)的对比摄像,谁好谁坏效果就很明显了。 而且它的插值方法的计算复杂度也是最优的:图像分辨率为640×480,在研究人员的GPU上进行单个插值时,DAIN模型需要878毫秒,该AI则只需要138毫秒。 另外,虽然不建议,用该模机也型输入的视频即使只有5֡,也可以生成慢动作。 和其他模型的对比实验数据,大家感兴趣的可以查看论文。 最后,作者在介绍成果的视频里也再次说道,不和昂贵的专业设备相比,该模型至少取得了智能手机和其他模型无法达到的效果。 作者能制介绍 一作Stepan Tulyakov,华为苏黎世研究中心机器学习研究员。 共同一作Daniel Gehrig,苏黎世大学博士生。苏黎世联邦理工大学机械工程硕士。 论文地址: http://rpg.ifi.uzh.ch/作慢docs/CVPR21_Gehrig.pdf 开源地址: https://github.com/uzh-rpg/rpg_timelens
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 云计算开发:Python3-center()方法详解
- 标签: OpenAI 奥尔特曼 微软
- 谷歌拟加码投资 Anthropic,总金额或达400亿美元
- 云计算核心技术Docker教程:Docker配置网络概述
- 标签: 零食
- 双11大促:AI 引领潮流,即时零售崛起,海外市场成新战场!
- 标签: SpaceX 马斯克 特斯拉 Megapack
- 标签: 铠侠 NAND闪存 QLC SSD BiCS10
- 标签: 交通运输部 端午假期 铁路客运 公路客运
- 苹果和Epic诉讼大战下月开审:库克将出庭作证
- 标签: 隆源股份 新能源汽车 三电系统 铝合金零部件
- AI爬虫“入侵”网络:Fastly 报告揭示,Meta、OpenAI 等巨头成主要流量来源
- 微软高管解读Q3财报:年底仍会存在供应短缺 但持乐观态度
- 标签: Anthropic ClaudeMythos ProjectGlasswing 网络安全AI
- Facebook卷入了Epic起诉苹果垄断案:被苹果要求提供部分文件
- 标签: 星赛生物 元拉曼组 合成生物学 活体单细胞
- 微软首次向员工提供退休买断方案,受 AI 浪潮推动
- MIT开发新AI工具 加速新3D打印材料的发现
- 腾讯云团队修复Linux关键内核漏洞 获Linux创始人点赞
- 英国政府提出 AI 节省 450 亿英镑计划,但专家质疑其可行性
- 搜索
-
- 友情链接