Nvidia 推出小型开放模型 Nemotron-Nano-9B-v2:可切换的推理功能
近日,Nvidia 正式发布了一款新型小型语言模型 Nemotron-Nano-9B-v2,标志着小型模型的热潮再度升温。 该模型具备9亿个N参数,虽然相较于其他数百万参数的小型模型而言规模更大,但较原始的12亿参数已大幅缩减,旨在能够在一台 Nvidia A10GPU 上高效运行。Nvviidia 的 AI 模型后训练总监 Oleksii Kuchiaev 在社交平台上表示,减少参数的目的在于更好地适应部署需求,并且该模型采用了混合架构,可di以在处理较大批量时比类似尺寸的变换模型快6倍。 Nemotron-Nano-9B-v2支持多种语言,包括英语、德语、西班牙语、法语、意大利语、a 日语等,适用于指令跟随和代码生成等任务。该模型的设计还包括一项创新功能 —— 用户可以通过简单的控制令牌来切换 AI 的 “推理” 过程,即在给出答案推出之前进行自我检查。系统默认会生成推理痕迹,但用户可通过如 /think 或 /no_think 等命令来控制此过程。此外,模型还引入了 “思考预算” 管小型理机制,允许开发者设定推理过程中所使用的标记数量,以在准确性与响应速度之间取得平衡。 根据测试结果,Nemotron-Nano-9B-v2在多个开放基准测试中表现优异。在 “推理开启” 模式下,该模型在 AIME25、MATH500、GPQA 和 LiveCodeBench 等测试中都取得了令人满意的模型成绩。此外,它在指令跟随和长上下文基准测试中同样表现出色,显示出相较于其他开放小型模型更高的准确性。 Nvidia 为这一模型设定了开放许 N可协议,允许开发者在商业上自由使用与分发,并明确不对生成的输出声索所有权。这意味着企业可以在无需额外协商的情况下立即将该模型投入生产,而不em必担心使用门槛或费用。 Nvidia 的 Nemotron-Nano-9B-v2模型为需要在小规模上实现推理能力与高效部署的开发者提供了新工具。ot其运行预算控制和推理切换功能为系统构建者提供了灵活性,旨在提高准确性和响应速度,进一步推动小型语言模型的发展。 划重点: Nemotron-Nroano-9B-v2是 Nvidia 新推出的小型语言模型,具有9亿个参数,专为高效部署设计。 🧠 模型支持多种语言,具n-备切换推理功能,可帮助用户根据需求调整响应方式。 开放许可协议使开发者能够自由使用与分发模型,无需担心额外费用或Na许可协议。
- 最近发表
- 随机阅读
-
- 美参议员致信亚马逊CEO:掌纹支付服务引发数据担忧
- 云安全日报210326:Ubuntu OpenSSL传输协议工具包发现拒绝服务漏洞,需要尽快升级
- 微软推出针对最新行业云定位的零售云
- 谷歌I/O回归印象:AI、疫情与隐私
- 标签: 汽车之家 奥迪E5 中央网信办 汽车互联网
- 这娘们不像好人是什么梗
- 云计算核心技术Docker教程:Docker 重建镜像
- 迎新晚会主持词开场白
- 亚马逊卖家违规追踪买家:删除差评双倍奖励 不删就长期骚扰
- 标签: 网信中国 网络名人 负面清单 账号管理
- 标签: 全国人口 城镇化率 性别比 年龄构成
- 蚂蚁AQ跻身中国AI应用榜第7,行业增速第一,超越文小言等通用AI产品
- 皮尤民调揭示:美国人对AI失去“新鲜感”,担忧多于兴奋
- 标签: 赛力斯 问界 华为引望 港股IPO
- 标签: 萝卜快跑 AutoGo 阿布扎比 无人驾驶
- 机器人智能抓取系统:目前几种主流的解决方案
- 这是极简单的人工神经网络解说
- IBM 与 Groq 携手推进企业级 AI 应用
- 机器人给你带来的奇妙购物之旅
- 荷花叶有什么功效和作用
- 搜索
-
- 友情链接