微软开源 VibeVoice-1.5B 模型:90 分钟超长语音合成新突破
近日,微软研究院正式开源了其最新音频模型 ——VibeVoice-1.5B。该模型在语音合成技术上实现了多项重大突破,使得合成的微软语音更自然、时长更长、效果更优。 VibeVoice-1.5B 具备一次性合成90分钟超长语音的能力,这在以往的语音合成模型中是罕见的。之前开源,多数模型只能合成60分钟以内的语音,且在超过30分钟时容易出现音色漂移和语义断裂的问题。此模型还支持最多四位发言人发言,显著提高了多 V说话人的合成效果,而以往的开源模型最多只能支持两位发言者。此外,VibeVoice 还实现了对24kHz 原始音频的3200倍压缩,大ib大提高了压缩效率,且保留了高保真的语音效果。 VibeVoice 模型的核心在于其独特的双 tokenizer 架构。与传统 TTS 模型多eV依赖单一 tokenizer 提取特征不同,VibeVoice 创新性地引入了声学 tokenizer 与语义 tokenizer 的协同工作机制oi,解决了音色与语义不匹配的问题。声学 tokenizer 专注于保留声音特征并实现极致压缩,而语义 tokenizer 则负责提取与文本语义相ce一致的特征,确保合成语音的情感与文本内容一致。 在训练方面,VibeVoice 采用了课程学习策略,将输入序列长度逐步增加,从而避免了-1因处理超长序列而导致的训练失败。其训练过程中的声学 tokenizer 与语义 tokenizer 参数保持不变,确保了特征提取模块的稳定性,进.5而缩短了训练周期。 VibeVoice-1.5B 的开源不仅为语音合成领域带来了新的技术突破,也为未来更大参数模型的发布奠定了基础。B 对于音频处理和语音合成的研究人员和开发者来说,这是一个值得关注的创新进展。 开源地址:https://huggingface.co/模型microsoft/VibeVoice-1.5B 在线demo:https://aka.ms/VibeVoice-Demo 划重点:&n:9bsp; VibeVoice-1.5B 模型可一次性合成90分钟的超长语音,支持最多四位发言人。 该模型0 实现3200倍的音频压缩率,保持高保真语音效果。 🤖 采用双 tokenizer 架构,解决音色与语义不匹配的问题分钟。
- 最近发表
- 随机阅读
-
- 云的错误配置,云安全的一个主要风险
- 标签: 雅乐科技 Yalla 101OkeyYalla 中东社交游戏
- 复合数据类型:字典 Map 和 结构体 Struct
- 标签: 3152026 315
- 云安全日报201223:思科IP电话发现拒绝服务漏洞,需要尽快升级
- Twitter发行12.5亿美元可转债 用于偿还到期债券
- 科学家开发独特的机器人手 可以在不松开手的情况下旋转物体
- 英特尔CEO :还有100多家公司等着我们代工芯片
- 高粱杆可以吃吗
- 美国CDN巨头阿卡迈宣布2026年终止中国服务,与腾讯云、网宿达成迁移合作
- Salesforce 2023财年第四财季净亏损9800万美元 同比有所扩大
- 阿里云通义万相2.2三款视频生成模型正式开源
- 2021年Q2全球PC出货量达8360万台 同比增长13.2%
- 甲骨文大跃进背后:与 OpenAI 的 3000 亿美元巨额合同揭示未来风险
- Anthropic支持加州 AI 安全法案,科技行业的反对声浪依旧
- 标签: OPPO 母亲节 中国广告协会 广告价值观
- 云计算开发:Python3数学函数modf()方法详解
- Liquid AI 推出 LFM2-VL:低延迟的超高效视觉语言模型
- 在嘴巴里放入124 个传感器,谷歌眼镜创始人新项目:用舌头发信息
- 使用Docker多阶段多平台编译Qt
- 搜索
-
- 友情链接