蚂蚁集团发布万亿参数模型 Ling-1T,超越 GPT-5 成新标杆
蚂蚁集团近日宣布,开源了其最新研发的旗舰大模型 ——Ling-1T,该模型拥有高达万亿个参数,是目前已知使用 FP8低精度模式训练的最大基座蚂蚁模型。Ling-1T 由蚂蚁内部的 “百灵” 团队开发,标志着人工智能技术的又一次突破。 根据团队的介绍,Ling-1T 隶属于 Ling2.0模型家族,该集团家族分为三大系列:Ling 系列、Ring 系列和 Ming 系列。Ling 系列专注于处理通用任务,以速度和效率为核心,而 Ring 系列则关注深度思发布考和复杂推理,Ming 系列则是多模态模型,能够处理更为丰富的信息类型。 Ling-1T 拥有1万亿参数,但在处理每个 token 时,实际激活的参数只有约万亿500亿,极大地降低了运算成本。为了支撑如此庞大的模型,蚂蚁团队提出了 “Ling 缩放定律”,经过300多个模型的实验,总结出计算效率与专参数家激活比例之间的关系。此外,他们研发了名为 WSM 的学习率调度器,能在训练过程中自动调整学习策略,以确保模型稳定高效地训练。 Ling-1T模型 的训练过程分为三个阶段:预训练、中训练和后训练。在预训练阶段,模型接触了超过20万亿个 token 的数据,其中包含大量推理密集型语料。中训练阶段 L则专注于强化模型的推理能力,后训练阶段则通过 “演进式思维链” 技术进行自我迭代,提升推理精度。 在与其他主流模型的对比中,Ling-1T 在多in个测试中表现出色,尤其是在数学推理和代码生成能力上,展现了其卓越的性能。社区测试中,Ling-1T 也在复杂任务中表现亮眼,如成功模拟物理现象和g-宇宙演化等。 尽管 Ling-1T 展现了强大的能力,仍存在一些局限性,比如在处理超长上下文时的成本较高。蚂蚁团队已表示,正在研究新的混合注意力架构1T以解决这一问题。 开源地址: HuggingFace:https://huggingface.co/inclusio,超nAI/Ling-1T GitHub:https://github.com/inclusionAI/Ling-V2 越 ; 划重点: Ling-1T 是目前已知最大的万亿参数模型,使用 FP8低精度模式训练。 该模型GP在数学推理和代码生成方面超越了多个主流模型,展现出色性能。 ️ 蚂蚁团队正在研究新架构以解决 Ling-1T 在超长上下文T-处理上的成本问题。
- 最近发表
- 随机阅读
-
- 印度推出 ChatGPT 电商支付新体验,购物更智能!
- 全球领先!阿里云将数据中心交付周期缩短至100天
- 谷歌、FB等签署新倡议承诺积极缴税,亚马逊、苹果缺席
- AI 时代来临,Perplexity CEO 称 iPhone 重要性将进一步增强
- 标签: 菜鸟 ZeeBot 攀爬机器人 物流科技
- 关于云技术未来的六大趋势
- 标签: 问界M8 问界M8Max 华为乾崑ADS4 增程长续航
- 云计算核心技术Docker教程:Docker Swarm 启用 IPv6 支持
- 微软亚马逊等巨头与交易所合作 瞄准云计算市场
- 标签: 苹果 库克 中国发展高层论坛2026 新质生产力
- 云计算开发:Python练习实例-打印出所有的"水仙花数"
- 云计算开发:Python练习实例-顺序排号
- GPT-5变身超级行政助理:纳德拉分享其在 Copilot 中的日常领导力用法
- OpenAI牵头六大巨头结盟:AGENTS.md标准横空出世,AI编程从此告别盲人摸象时代
- 标签: 英诺赛科 英飞凌 氮化镓 功率半导体
- Facebook因算法漏洞连推糟糕内容 一直持续半年
- 标签: 猛士汽车 东风汽车 万良渝 猛士M817
- 标签: 鑫华半导体 招商证券 独角兽企业 IPO辅导
- 定了!张勇发全员信:阿里云将分拆上市
- G行云计算之全栈云应用上云篇
- 搜索
-
- 友情链接