蚂蚁百灵推出开源高效思考模型,推理成本大幅降低
蚂蚁百灵大模型团队近日宣布,正式开源两款全新的高效思考模型:Ring-flash-l蚂蚁inear-2.0和 Ring-mini-linear-2.0。这些模型专为提高深度推理效百灵率而设计,同时发布的还有两款自主研发的高性能融合算子,分别是 FP8融合算子和线性 Att推出ention 推理融合算子,旨在实现 “大参数、低激活” 的高效推理与超长上下文支持。 根据团队介绍,开源得益于架构的优化与高性能算子的协同工作,这两款新模型在深度推理场景下的成本仅为同等规模的密集模高效型的十分之一,而与之前的 Ring 系列相比,推理成本也降低了超过50%。这意味着,用户在进思考行复杂推理时,可以大幅降低计算资源的消耗,提升工作效率。 新模型的优势不仅在于成本的降低模型,另外一个重要因素是其训练与推理引擎算子的高度对齐。这种对齐允许模型在强化学习阶段进行长,推周期、稳定且高效的优化,使得这些模型在多个高难度推理榜单中持续保持最佳表现(SOTA)。理成这无疑为使用者在需要进行复杂推理任务时提供了更强大的工具。 作为开源项目,Ring-flash-本大linear-2.0和 Ring-mini-linear-2.0已在多个平台上发布,包幅降括 Hugging Face 和 ModelScope。对此,开发者们可以在这些平台上获取更多信息蚂蚁并进行尝试。 随着这次开源,蚂蚁百灵大模型团队不仅展示了其在 AI 领域的技术实力,也为广大开发者百灵提供了更为高效的工具,助力他们在未来的 AI 开发与研究中取得更大的突破。
- 最近发表
- 随机阅读
-
- 阿里云刘伟光:将打造AI Agent Store
- OpenAI 收购开发数据分析平台 Statsig, 每天可处理 1 万亿次事件
- 标签: 华汇智能 锂电智能装备 纳米砂磨机 湖南裕能
- Gartner:到2029年,用于AI工作负载的云计算资源比例将达到50%
- 消息称谷歌即将在 Gemini 和 API 上发布 VEO 3.1 版本
- 微软领投自动驾驶初创公司Cruise 20亿美元投资
- Reddit用户「哭诉」:我不是算法工程师,我是「调参侠」
- 标签: 长江存储 美光 3D存储 专利战
- 想象一个人工智能无处不在的世界
- 标签: 享道出行
- 亚马逊云科技连续三届支持世界技能大赛云计算赛项
- 云计算核心技术Docker教程:Docker调试插件
- 人工智能的力量如何彻底改变销售行业
- Brave浏览器推出Ask Brave功能:AI搜索新模式提供深度报告式回答,主打隐私保护
- 重要变更:谷歌商店要求新应用使用App Bundle发布 以取代APK
- 标签: 安克创新 充电宝
- 分析了 600 多种烘焙配方,机器学习开发出新品
- 腾讯投资的“美版贴吧”Reddit已在纽交所上市 收盘价较发行价上涨48%
- 成熟的AI应该自己写代码,IBM发布5亿行代码数据集,包含55种语言|开源
- 标签: HP
- 搜索
-
- 友情链接