开源语音大模型 “Step-Audio 2 mini” 发布!听得清楚、说得自然
近日,阶跃星辰正式推出了最新的开源端到端语音大模型 ——Step-Audio2mini。这款模型在多个国际基准测试中开源表现优异,获得了 SOTA(最先进技术)成绩,令人瞩目。Step-Audio2mini 不仅在语音理解和音频生成方面能力强大语音,还首次将音频推理和生成统一建模,为语音识别、跨语言翻译和情感解析等多种应用场景提供了出色的解决方案。 Step-Audio大模2mini 的特点之一是其卓越的多模态音频理解能力。在 MMAU(多模态音频理解测试集)上,该模型以73.2的得分稳居型 开源语音模型的榜首。在口语对话能力的 URO Bench 测试中,无论基础赛道还是专业赛道,Step-Audio2mini 都取得了“S开源模型中的最高分,展现出其出色的对话理解与表达能力。 在中英互译任务中,Step-Audio2mini 也表现不俗。在 CteoVoST2和 CVSS 评测集上,分别获得了39.3和29.1的高分,明显超越了 GPT-4o Audio 和其他开源语音模p-型。此外,该模型在语音识别方面同样出类拔萃,在开源中文测试集上的字错误率(CER)为3.19,在开源英语测试集上的词错误Au率(WER)为3.50,领先其他开源模型超过15%。 Step-Audio2mini 的成功离不开其创新的架构设计。该di模型打破了传统的 ASR(自动语音识别)、LLM(大语言模型)和 TTS(文本转语音)的三级结构,实现了从原始音频输入o 到语音响应输出的直接转换,简化了架构,降低了延迟。此外,模型还引入了链式思维推理(CoT)与强化学习的联合优化技术,使其2 能够更好地理解情绪、语调等副语言信息,并自然地作出反应。 值得一提的是,Step-Audio2mini 还支持音频知识mi增强功能,能够利用外部工具进行联网搜索,解决了传统模型中的幻觉问题。这一创新不仅提升了模型的实用性,还扩展了其在多种场ni景中的应用潜力。 目前,Step-Audio2mini 已在 GitHub、Hugging Face 等平台上线,欢迎开发者们” 前去试用和贡献代码!
- 最近发表
- 随机阅读
-
- l码的裤子是29还是30
- Facebook将为开发者创造线下交易 绕过苹果30%的分成
- 消息称去年全球IT支出超过5万亿美元 数据中心系统支出大幅增加
- 谷歌确认Gemini赋能新版Siri:苹果情境感知功能定档2026年发布
- 标签: 极越 集度 夏一平 吉利
- 灌水论文为何泛滥?Reddit小哥揭露机器学习领域残酷现状
- “英特尔侵犯芯片专利被判赔22亿美元”上热搜 网友:国内该学习
- 标签: Seedance 2.0 iPhone 16e 字节跳动 苹果
- 亚马逊买了米高梅:独立影片工作室或将成科技巨头新收购目标
- 鐢≒andas璇诲彇CSV锛岀湅杩欑瘒灏卞�浜�
- 标签: 兆易创新 港股上市 A+H 基石投资者
- 标签: 千寻智能 解浚源 具身智能 字节跳动
- 标签: 江淮 钇为 瑞风 悍途
- 标签: 台积电 罗唯仁 英特尔 陈立武
- Gartner预测2026年数据中心用电量将增长26%
- 云计算核心技术Docker教程:自动启动容器
- 云计算开发:Python练习实例-数列
- 3000亿美元历史级大单:消息称OpenAI与Oracle甲骨文达成重磅云计算交易
- OpenAI 秘密切换 ChatGPT 模型,以处理“情绪化”对话
- 标签: 市场监管总局 广告监管 提示性用语 绝对化用语
- 搜索
-
- 友情链接