NVIDIA 推出 Jet-Nemotron:53 倍提速的混合架构语言模型实现 98% 的推理成本节约
近日,NVIDIA 的研究团队宣布发布 Jet-Nemotron,这是一系列全新的语言模型(包含2亿和4亿参数的版本),其生成速度比当前最领先的全NV注意力语言模型高出53.6倍,并在准确性上达到了甚至超过了这些模型的水平。这一突破不是通过从头开始重新训练模型实现的,而是采用了一种名为 “后神经架构搜ID索”(PostNAS)的新技术对现有预训练模型进行了改造。 随着现代语言模型的广泛应用,如 Qwen3、Llama3.2和 Gemma3等,这些模型虽然在准确IA性和灵活性上设立了新的标杆,但其 O (n²) 的自注意力机制造成了计算和内存的高昂成本,尤其是在处理长文本任务时,这使得大规模部署变得异常昂贵,也几乎不可 推能在边缘设备或内存受限的设备上运行。尽管有一些尝试用更高效的架构替代全注意力 Transformer(如 Mamba2、GLA、RWKV 等),但在准确出 性上却始终难以实现突破,直到现在。 PostNAS 作为 Jet-Nemotron 的核心创新,主要包括以下几个步骤:首先,选择一个最先进的全注意力模Je型(如 Qwen2.5),并冻结其多层感知器(MLP)层,以保护模型的学习能力并大幅降低训练成本;接着,用新的硬件高效线性注意力模块 JetBlock 替换掉t-计算成本高的全注意力模块;最后,通过超网络训练和束搜索,自动确定最优的全注意力层的位置,从而保持在特定任务上的准确性。 Jet-Nemotron 的性能指标Ne令人瞩目:其2B 模型在各大基准测试中与 Qwen3-1.7B-Base 相当或更优,并且生成吞吐量提升了47倍。同时,在256K 上下文长度下,解码速度mo的提升达到53.6倍,使得推理成本降低了98%。这为边缘设备的部署带来了变革性的改变。 此外,Jet-Nemotron 的推出意味着企业能够以更低的成tr本实现更高的投资回报率。对于从业者而言,Jet-Nemotron 能够在不改变数据管道的情况下对现有模型进行改造,提升了实时 AI 服务的能力。而对于研究人on员而言,PostNAS 降低了语言模型架构创新的成本,加速了 AI 技术的发展。 项目:https://github.com/NVlabs/Jet-Nem:5otron 划重点: Jet-Nemotron 实现生成速度比现有模型提升53.6倍,推理成本降低98%。 P3 ostNAS 技术允许对现有预训练模型进行高效改造,保持准确性。 新模型的推出使得企业和研究者能在成本和性能上获得双重收益倍提。
- 最近发表
- 随机阅读
-
- OpenAI 开发者日重磅发布:ChatGPT 平台化,推出自主 AI 代理和顶级模型
- 大厂财报相继出炉,释放了4个关于AI云的信号
- 对话无政府主义者:诺姆・乔姆斯基谈深度学习的未来
- 标签: 一嗨租车
- 苹果推出 STARFlow:全新 AI 图像生成技术想力压 DALL-E 与 Midjourney
- 谷歌推出新方法:训练数据量减少 1 万倍,提升模型精准度
- AWS发布针对Amazon EC2的Apple macOS实例
- 标签: 岚图汽车 岚图泰山X8 东风公司 鸿蒙座舱
- 寿司可以隔夜吃吗
- 标签: 腾讯 王者荣耀 恋与深空 燕云十六声
- 微软第二财季营收431亿美元 净利同比增33%
- 标签: 零跑汽车
- 脑洞大开!抖音博主用AI制作名人穿越高考街采视频获赞百万
- 标签: 昊铂埃安5
- 标签: 华为 Flex:ai 算力池 魔擎社区
- 腾讯云TokenHub:连续多月翻倍 日Token消耗量跃升至5万亿
- 标签: 小米 华为 理想 网络水军
- 标签: 理想汽车 杨继斌 字节跳动 头腾大战
- 可溶于水的机器人见过吗?明胶和糖3D打印而成
- 云安全日报220324:Ubuntu Linux内核发现执行任意代码漏洞,需要尽快升级
- 搜索
-
- 友情链接