港大携手快手可灵突破长视频一致性瓶颈,"记忆检索"技术震撼发布
AIbase报道香港大学与快手可灵团队近日联合发表重磅论文《Context as Memory: Scene-Co港大nsistent Interactive Long Video Generation with Memory Retriev携手al》,提出革命性的"Context-as-Memory"方法,成功解决长视频生成中场景一致性控制的核心难题。 该研究的核心创新在于将历史生成的上下文视为"记忆",通过context learning可灵技术学习上下文条件,实现长视频前后场景的高度一致性控制。研究团队发现,视频生成模型能够隐式学习视频数据中的3D先验,无突破需显式3D建模辅助,这一理念与谷歌Genie3不谋而合。 为解决历史帧序列长视理论上可无限延长带来的计算负担,研究团队提出基于相机轨迹视场(FOV)的记忆检索机制。该机制能从全部历史帧中智能筛频一选出与当前生成视频高度相关的帧作为记忆条件,显著提升计算效率并降低训练成本。 通过动态检索策略,系统根据相机轨致性迹FOV重叠关系判断预测帧与历史帧的关联度,大幅减少需要学习的上下文数量,实现模型训练和推理效率的质的飞跃。 研究团队基于Unreal Engine5收集了多样化场景、带有精确相机轨迹标注的长视频数据集,为技术验,"证提供坚实基础。用户仅需提供一张初始图像,即可沿设定相机轨迹自由探索生成的虚拟世界。 实验记忆结果显示,Context-as-Memory在几十秒时间尺度下保持出色的静态场景记忆力,并在不同场景中展现良好泛化检索性。与现有SOTA方法对比,该技术在长视频生成场景记忆力方面实现显著性能提升,且能在未见过的开放域场景中有效保持记忆连"技续性。 此次突破标志着AI视频生成技术向着更长时序、更高一致性的方向迈出重要一步,为虚拟世界构建、影视制作等应用术震领域开辟新的可能性。创新理念快手:将历史上下文作为"记忆"载体
技术突破:FOV记忆检索机制大幅提升效率
数据构瓶颈建与应用场景
性能表现超越现有方法
- 最近发表
-
- 标签: 航旅纵横 航班取消 系统故障 客服回应
- 标签: 同程旅行 DeepTrip HopeGoo 艺龙酒店科技
- #苹果将削减AirPods的产量#上热搜 网友:大家不都在等AirPods 3嘛
- 标签: 零跑汽车 A10 D19 LEAP3.5
- AI教育的“百亿补贴”来了!阿里夸克发布“教育计划”,对7000万师生免费
- 标签: 汽车之家 知家传媒MCN 汽车之家商城 人工智能
- 云计算开发:Python内置函数-slice()函数详解
- 神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF
- 触目惊心!央视曝光 AI 论文“黑工厂”:枪手靠模板+AI 一天炮制30篇论文
- 印度推出 ChatGPT 电商支付新体验,购物更智能!
- 随机阅读
-
- 浜戝畨鍏ㄦ棩鎶�210722锛氭€濈�鏅鸿兘绠$悊骞冲彴鍙戠幇IPv4鍜孖Pv6杞�彂婕忔礊,闇€瑕佸敖蹇�崌绾�
- 标签: 果下科技 港交所上市 储能系统 可再生能源
- 苹果重拳整顿 App Store 支付:明星应用 Cal AI 违规被下架
- SAP公布Q1财报:云计算营收22亿欧元,同比增7%
- 阿里夸克“C计划”曝光:目标直指对话式AI应用,或剑指字节“豆包”
- 标签: 新能源汽车
- 阿里Qoder推出付费订阅服务,Pro版每月20美元,助力AI自主编程
- 英特尔新任CEO:7纳米项目正在恢复 但仍可能扩大芯片制造外包
- 20款优秀的数据可视化工具 (建议收藏)
- OpenAI修复ChatGPT安全漏洞,用户数据曾面临泄露风险
- 标签: 吉利 李书福 青年创业 醇氢电动
- 智谱GLM 4.6来袭:国产芯片强强联手,助力AI领域再升级
- 人工智能专利申请量达到世界第一,占全球总量的近3/4
- 颠覆LLM长文本处理!DeepSeek-OCR发布“视觉记忆压缩”机制,或破解AI记忆瓶颈
- 标签: 极氪 千里浩瀚 吉利 智能驾驶
- 标签: Hindustan Zinc Vedanta Group 锌生产商 白银产量
- 未来已来!吉利银河M9首搭AI座舱,智能体Eva陪你畅享智慧出行
- 标签: 星海图 具身智能 华为 比亚迪
- 标签: VITURE Luma Beast XR Cyberpunk 2077
- 标签: 粤芯半导体 IPO 晶圆代工 集成电路
- 搜索
-
- 友情链接