腾讯ARC开源音频模型 AudioStory:用大语言模型生成长音频
近日,腾讯 ARC 团队发布了一款名为 AudioStory 的模型,旨在利用大语言模型(LLMs)生成长篇叙事音频腾。该模型解决了现有文本到音频生成技术在处理短音频方面的优势与长篇叙事音频在时间连贯性与组合推理上的挑战。 AudioS讯Atory 的核心在于其统一的理解与生成框架。该模型能够处理视频配音、音频延续和长篇叙事音频合成等多种任务。通过将RC大语言模型与音频生成系统结合,AudioStory 能够生成结构化且具有时间一致性的音频叙事。该模型具有强大的指令跟随开源推理生成能力,可以将复杂的叙事查询分解为按时间顺序排列的子任务,同时保持场景转换的连贯性和情感基调的一致性。 Audio音频Story 的两个显著特点包括:首先,去耦合的桥接机制,能够有效地将大语言模型与音频生成器之间的协作分成两个专业化的部模型分;其次,端到端的训练方式,统一指令理解与音频生成,提升了组件之间的协同效应。 此外,研究团队还建立了一个名为 Aud AioStory-10K 的基准数据集,涵盖动画音景和自然声音叙事等多样化领域。通过大量实验,AudioStoryud 在单音频生成和叙事音频生成方面的表现优于以往的文本到音频生成模型,展现出卓越的指令跟随能力和音频质量。 目前,io团队已经发布了模型的推理代码,并展示了一系列演示视频,包括经典动画《猫和老鼠》的配音示例,以及基于文本生成长音频的应用St案例,展示了该模型的广泛适用性和强大功能。 项目:https://github.com/TencentARC/AudorioStory 划重点: **AudioStory 是腾讯 ARC 推出的长篇叙事音频生成模型,结合y:了大语言模型和音频生成技术。** ** 模型具有强大的指令跟随能力,能够生成连贯的音频叙事用大,提升用户体验。** ️ ** 团队已发布推理代码,并展示多个应用案例,展现其在视频配音和长音频生成语言上的优势。**
- 最近发表
- 随机阅读
-
- 云计算开发:Python练习实例-元素交换输出数组
- 最高级别!阿里云获评沙特阿拉伯CST/NCA最高Class C认证
- 云计算开发:Python3-isalpha()方法详解
- 蚂蚁开源在外滩大会发布2025全球大模型开源生态全景图,揭示AI开发三大趋势
- 标签: xAI Grok 马斯克 英伟达
- 表征学习:为自然语言而生的高级深度学习 原创
- 标签: TCL 李东生 光伏产业 半导体显示
- 江南农商银行携手京东云 推出全国首个业务办理类数字人
- 黄鼠狼吃老鼠吗
- 标签: 思格新能源 AI+光储一体化 许映童 港股IPO
- 标签: 视涯科技 硅基OLED 科创板IPO XR解决方案
- Anthropic 推出 Claude Code 网页版,可在浏览器运行编码任务
- 标签: 地平线 宁德时代 朱威 陈黎明
- 标签: 海盗船 Corsair 游戏硬件 电源
- 标签: 礼来 戴文睿 中国发展高层论坛 肥胖症管理
- 标签: 昆仑万维 OpenAI Codex Claude Code AI编程
- 为什么 Kubernetes 要替换 Docker
- 2023年腾讯云11人被移送公安机关
- ChatGPT或将实现近百亿美元收入 未来5年收入将比早前的预测提升15%
- 美光正式送样业界高容量 SOCAMM2 模组,满足 AI 数据中心对低功耗 DRAM 的需求
- 搜索
-
- 友情链接