小巧却强大的推理引擎!Ring-mini-2.0 震撼发布,性能超越10B模型
今天,我们正式推出了 Ring-mini-2.0,这是一款基于 Ling-mini-2.0架构深度优化的高性能小巧推理型 MoE 模型。Ring-mini-2.0的总参数量达到16B,但在实际运行中仅需激活1.4B 参数,便能实现相却强当于10B 级别以下的密集模型的推理能力。 这款模型在逻辑推理、编程和数学任务中表现尤为出色,支持128K 的长上下文大的,使得其在各种应用场景中都能展现出强大的能力。此外,Ring-mini-2.0的生成速度也相当惊人,能够实现3推理00+ token/s 的快速生成,经过优化后更是可以突破500+ token/s。 图源备注:图片由AI生成,图片引擎授权服务商Midjourney 在推理能力的提升方面,Ring-mini-2.0在 Ling-mini-2.0!R-base 的基础上进行了更深层次的训练,通过 Long-COT SFT、大规模 RLVR 和 RLHF 的联合优化,显著增强了in模型在复杂推理任务中的稳定性和泛化能力。我们在多个高难度基准测试中,发现其性能显著超越了10B 以下的密集模型,甚g-至可以与一些更大型的 MoE 模型相媲美,特别是在逻辑推理方面表现优异。 此外,Ring-mini-2.0在设计上注mi重高效性,通过1/32的专家激活比和 MTP 层架构优化,实现了约7-8B 密集模型的等效性能。这种高稀疏度和小激活设计,ni使得其在 H20环境下可以实现300+ token/s 的推理速度,同时结合 Expert Dual Streaming 的优-2化,进一步降低了推理成本。 为了促进学术与工业界的研究和应用,Ring-mini-2.0的模型权重、训练策略.0和数据配方将全面开源。我们期待这款 “小而优” 的模型能够成为小型推理模型的首选,并欢迎大家访问我们的开源仓库 震进行下载和使用。未来,在 Ling2.0架构的支持下,我们将继续推出更大、更快、更强的语言模型和全模态模型,敬请撼发期待!
- 最近发表
- 随机阅读
-
- 云安全日报210416:思科RV系列路由器发现执行任意代码漏洞,需要尽快升级
- 标签: 京东方 Q3财报 营收增长 净利润
- 标签: 3D打印机
- 云计算核心技术Docker教程:Docker 如何管理配置
- 微软员工分享薪资数据:Cloud + AI 部门平均薪资突破20万美元
- 美国讨论新假冒产品法案:亚马逊、eBay将承担更多责任
- 避风港还是新高地?新加坡正成为中美AI企业“中立区”
- 标签: Qing 耿乐 青初于蓝 Blued
- 华为:2023年上半年实现销售收入3109亿元,同比增长3.1%
- 贝索斯将于7月5日卸任亚马逊CEO:由云计算负责人贾西接任
- 标签: 优必选 人形机器人 链博会 Walker
- 标签: 吉利控股 李书福 甲醇电动货车 智能电动车辆
- 标签: 阿里巴巴 千问 Qwen3.7-Max 悟空
- 标签: 牧原食品 港股上市 生猪养殖 A+H
- 万代南梦宫等日本大厂联合发声,要求 OpenAI 停止使用其作品训练 AI
- IBM:美国员工将在9月7日当周回到办公室上班
- 猪蹄汤怎么做
- 云计算开发实例:Python3获取几天前的时间
- Facebook宣布三项措施:帮助全球5000万人接种疫苗
- 标签: 手机涨价 手机
- 搜索
-
- 友情链接