阶跃发布端到端语音大模型Step-Audio 2 mini
9月1日,阶跃星辰正式发布最强开源端到端语音大模型Step-Audio2mini。该模型在多个国际基准测试集上取得了SOTA(State-of-the-Art)成绩,将语阶跃音理解、音频推理与生成统一建模,在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出,并率先支持语音原生的Tool Calling能力,可实现联网搜索等操作。发布Step-Audio2mini被形容为“听得清楚、想得明白、说得自然”,其模型现已上线GitHub、Hugging Face等平台,供用户下载、试用并反馈。 Step-Audio2mi端到ni在多个关键基准测试中取得SOTA成绩,在音频理解、语音识别、翻译和对话场景中表现卓越,综合性能超越Qwen-Omni、Kimi-Audio等所有开源端到端语音模型,并在大端语部分任务上超越GPT-4o Audio。在通用多模态音频理解测试集MMAU上,Step-Audio2mini以73.2的得分位列开源端到端语音模型榜首;在衡量口语对话能力的U音大RO Bench上,Step-Audio2mini在基础与专业赛道均拿下开源端到端语音模型最高分;在中英互译任务上,Step-Audio2mini在CoVoST2和CVSS模型评测集上分别取得39.3和29.1的分数,大幅领先GPT-4o Audio和其他开源语音模型;在语音识别任务上,Step-Audio2mini取得多语言和多方言第一,其中开St源中文测试集平均CER(字错误率)3.19,开源英语测试集平均WER(词错误率)3.50,领先其他开源模型15%以上。 Step-Audio2mini通过创新架构设计,有效解决了ep此前语音模型存在的问题,做到“走脑又走心”。它采用真端到端多模态架构,突破传统ASR+LLM+TTS三级结构,实现原始音频输入到语音响应输出的直接转换,架构更简洁、时延更-A低,并能有效理解副语言信息与非人声信号。此外,Step-Audio2mini在端到端语音模型中首次引入链式思维推理(CoT)与强化学习联合优化,能对情绪、语调、音乐等副语言和非语音ud信号进行精细理解、推理并自然回应。模型还支持包括web检索等外部工具,有助于解决幻觉问题,并赋予模型在多场景扩展上的能力。 Step-Audio2mini的能力在案例中得到了io生动展示。它能精准识别大自然的声音、精湛的配音,还能实时搜索获得行业最新资讯。此外,Step-Audio2mini还能控制语速,轻松应对不同场景的对话需求。当被问及哲学难题 2时,Step-Audio2mini能将抽象问题转化为极简方法论,展现强大的逻辑推理能力。 GitHub:https://github.com/stepfun-ai/Step m-Audio2 Hugging Face:https://huggingface.co/stepfun-ai/Step-Audio-2-mini ModelScope:https:/in/www.modelscope.cn/models/stepfun-ai/Step-Audio-2-mini
- 最近发表
- 随机阅读
-
- 云计算开发:Python练习实例-按相反的顺序输出列表的值
- 标签: 申通快递 2025年报 快递行业 业务量
- 浜戝畨鍏ㄦ棩鎶�210722锛氭€濈�鏅鸿兘绠$悊骞冲彴鍙戠幇IPv4鍜孖Pv6杞�彂婕忔礊,闇€瑕佸敖蹇�崌绾�
- 有关AIOps的6个误解和解释
- 标签: 百付科技 GEO优化 AI搜索排名 不正当竞争
- 标签: 思格新能源 SigenStor 许映童 光伏储能
- 标签: 安德科铭 ALD前驱体 半导体材料 中金公司
- 云安全日报210805:思科企业路由器发现拒绝服务和命令注入漏洞,需要尽快升级
- OpenAI正式推出GPT-5.5 每兆瓦输出提升50倍
- 百度“文心”5.0重磅回归!一键生成漫画、修图、视频,全能AI助手全面升级
- 标签: 美图公司 开拍 RoboNeo 美图设计室
- 即梦AI正式上线火山引擎 面向企业开放 API 服务
- 标签: 滴滴 清华大学 自动驾驶 强化学习
- 标签: 富士胶片 影像 医疗健康 电子材料
- 奇点灵智获数千万融资剑指儿童AI教育!清华团队打造英语机器人伴侣,挑战传统启蒙模式
- 标签: 传音控股 非洲智能机 中信证券 IDC
- 谷歌编程模式迎来剧变:超七成新代码已由AI代劳
- 标签: 国民技术 A+H上市 集成电路 港交所
- 云安全日报210413:Ubuntu SpamAssassin邮件过滤器发现注入攻击漏洞,需要尽快升级
- 标签: 徕卡相机 黑石集团 考夫曼家族 相机品牌
- 搜索
-
- 友情链接