Nvidia 推出新型小型开放模型 Nemotron-Nano-9B-v2,支持智能推理开关
近日,Nvidia 推出了一款新的小型语言模型 Nemotron-Nano-9B-v2,这款模型在多个基准测试中表现优异,并且用户可以灵活控制其推理功能的开Nv关。Nemotron-Nano-9B-v2的参数量为90亿,相较于其前身的120亿参数有了显著减小,旨在适应单个 Nvidia A10GPU 的部署需求。 Nviiddia 的 AI 模型后训练总监 Oleksii Kuchiaev 表示,这款模型专门针对 A10GPU 进行了优化,可以实现高达6倍的处理速度,适合各种应用场景。Neiamotron-Nano-9B-v2支持多种语言,包括英语、德语、西班牙语、法语、意大利语、日语,以及扩展的韩语、葡萄牙语、俄语和中文等,适用于指令跟随和代码生 推成任务。 该模型基于 Nemotron-H 系列,融合了 Mamba 与 Transformer 架构,能够在处理长序列时降低内存和计算需求。与传统的 Transformer 模型出新不同,Nemotron-H 模型使用选择性状态空间模型(SSM),在确保准确性的同时,能够高效处理更长的信息序列。 在推理功能上,Nemotron-Nano-9B-型小v2可以默认生成推理过程的跟踪记录,用户也可以通过简单的控制指令,如 /think 或 /no_think,来切换这一功能。此外,模型引入了运行时 “思考预算” 管理,允许型开开发者设定推理所用的最大 token 数量,以便在准确性和响应速度之间取得平衡。 在基准测试中,Nemotron-Nano-9B-v2展现了良好的准确性。例如,在放模使用 NeMo-Skills 套件的 “推理开启” 模式下,该模型在多个测试中均表现出色,显示出与其他小型开源模型相比的优势。 Nvidia 将 Nemotron-N型 ano-9B-v2以开放模型许可证发布,允许商业用途,且开发者可自由创建和分发衍生模型。值得一提的是,Nvidia 不会对模型生成的输出主张所有权,用户可完全控制Ne其使用。 该模型的发布旨在为开发者提供在小规模环境中平衡推理能力和部署效率的工具,标志着 Nvidia 在提高语言模型的效率和可控推理能力方面的持续努力。 huggimongface:https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2 划重点: Nvidia 推出了tr新型小型语言模型 Nemotron-Nano-9B-v2,支持用户灵活控制推理功能。 ️ 该模型基于先进的混合架构,能够高效处理长序列信息on,适用于多语言任务。 Nemotron-Nano-9B-v2以开放模型许可证发布,允许开发者进行商业用途和衍生模型的创建。 &-Nnbsp;
- 最近发表
- 随机阅读
-
- 云计算核心技术Docker教程:部署注册服务器
- 标签: 法拉第未来 FF机器人 贾跃亭 Futurist
- OpenAI Sora2震撼发布:首日安装量与ChatGPT 上线时一样多
- AI认知革命:从Ilya的“超级智能对齐”到智能体“不完备定理”
- 标签: 双良节能 SpaceX 商业航天 误导性陈述
- 谷歌和Facebook同意进行合作 以应对反垄断指控
- 阿里巴巴重磅发布全模态大模型 Qwen3-Omni
- 新的指纹技术可以检测可卡因的使用
- 标签: 哭哭马
- 这是极简单的人工神经网络解说
- Gartner:阿里云IaaS基础设施能力超越亚马逊、谷歌全球第一
- 标签: 宾理汽车 GT Opus 1 苏伟铭 电动汽车
- DeepSeek突袭更新V3.2后紧急下架
- 标签: 电装 罗姆 半导体 汽车零部件
- OpenAI“Company Knowledge”上线 可以连接企业知识和数据源
- Meta收集员工日常行为数据用于训练大模型 隐私边界再受挑战
- Google 研究显示:Veo 3视觉处理能力迎来“GPT-3”时刻
- 标签: 字节跳动 薪酬激励 人才投入 职级体系
- 谷歌就美司法部诉讼提交正式申辩 否认反垄断行为指控
- 1Password 推出新功能可以修复 AI 浏览器代理的登录安全性
- 搜索
-
- 友情链接