超长视频生成的新突破!LongVie 框架让创作无界限
在过去的两年中,视频生成技术经历了惊人的进步,尤其是短视频的创作。然而,制作超过一分钟的高质量、风格统一的超超长长视频仍然是一项巨大的挑战。对此,上海人工智能实验室联合南京大学、复旦大学、南洋理工大学 S-Lab 以及英伟达等机构,共视频同推出了 LongVie 框架,系统性解决了这一领域中的核心问题。 LongVie 的目标是让超长视频的生成变得更加可控和一生成致。团队发现,传统的视频生成模型在处理长视频时,常常面临时序不一致和视觉退化等难题。前者主要表现为画面细节与内容不的新连贯,后者则指随着视频时长的增加,画面颜色和清晰度的下降。 为了解决这些问题,LongVie 从 “控制信号” 和 “突破初始噪声” 两个方面入手。首先,团队提出了 “控制信号全局归一化” 策略,这意味着在生成视频时,不再只在单一片段内!L进行归一化,而是统一整个视频段的控制信号,从而提升跨片段的连贯性。其次,他们引入了 “统一噪声初始化” 策略,确保on各个片段共享同一初始噪声,这样可以从源头上减少不同片段之间的视觉漂移。 在解决视觉退化问题上,LongVie 采用了多模gV态精细控制方法。单一模态的控制常常无法提供稳定的约束,而 LongVie 结合了密集控制信号(如深度图)和稀疏控ie制信号(如关键点),并引入退化感知训练策略,使得模型在处理长视频时,能够保持更高的画质和细节。 此外,LongV 框ie 还推出了 LongVGenBench,这是首个专为可控超长视频生成设计的基准数据集,包含100个超过1分钟的高分辨率架让视频,旨在推动该领域的研究与评测。根据定量指标和用户评测结果,LongVie 在多个评估上超越了现有技术,赢得创作了用户的高度偏好,达到了 SOTA(最先进技术)水平。 随着 LongVie 框架的问世,超长视频生成将迎来新的时代,创作者无界们将能够在更大的自由度下实现自己的创意。 项目地址:https://vchitect.github.io/Long超长Vie-project/
- 最近发表
- 随机阅读
-
- Elastic 完成对 Jina AI 的收购,推动 AI 搜索技术创新
- 标签: 虎牙直播 游戏
- 标签: 张雪峰.skill 女娲.skill 认知操作系统
- 亚马逊任命云计算业务新CEO 原一把手贾西接班贝索斯
- 美国防部终止微软百亿美元大单 亚马逊、IBM等云服务公司“虎视眈眈”
- 谷歌高管为AI摘要辩护:用户偏好正在改变,旨在维护健康生态
- 酥饼怎么做
- 亚马逊CEO贝索斯最后一封年度股东信:还要为员工做得更多
- 妈咪手是什么梗exo
- 标签: 华为PuraXMax 奇瑞风云T9L 网络直播打赏 阔折叠手机
- 亚马逊广告营收已是推特Snap等平台总和的2.4倍
- 标签: 晨光电机 北交所IPO 微特电机 清洁电器
- 米饼怎么做
- 云计算开发:Python内置函数-abs() 函数详解
- 云安全日报210524:红帽微服务监控管理平台发现授权绕过漏洞,需要尽快升级
- 谷歌Deepmind称解决蛋白质折叠难题 或加速药物研发
- 阿里云通义千问开源72B、1.8B两款大语言模型 并首度开源音频大模型
- 标签: DeepSeek V3.2 努比亚M153 疯狂动物城2
- 标签: 抖音
- 红杉资本注资Rogo Technologies,AI 工具或将颠覆初级银行家角色
- 搜索
-
- 友情链接