英伟达发布全新小型模型 Nemotron-Nano-9B-V2:免费商用且性能卓越
小型模型正在掀起一场风暴,而英伟达也不甘落后。在麻省理工学院和谷歌相继推出能在智能手表和智能手机上运行的小型 AI 模型后,英伟达发布了其最新的小型语言模型英伟(SLM)——Nemotron-Nano-9B-V2。该模型在多个基准测试中表现出色,并在特定测试中达到了同类产品的最高水平。 Nemot达发ron-Nano-9B-V2的参数量为90亿,虽然比一些数百万参数的微型模型要大,但它比之前的120亿参数版本显著减小,并专门针对单个英伟达 A10GPU 进布全行了优化。英伟达 AI 模型后训练总监 Oleksii Kuchiaev 解释说,这种调整是为了适配 A10这款热门的部署 GPU。此外,Nemotron-Nano-9B-新小V2是一款混合模型,能处理更大的批次,速度比同等规模的 Transformer 模型快6倍。 该模型支持多达九种语言,包括中、英、德、法、日、韩等,并擅长处理指令跟踪型模和代码生成任务。其预训练数据集和模型本身都已在 Hugging Face 和英伟达的模型目录中提供。 Nemotron-Nan型 o-9B-V2基于 Nemotron-H系列,该系列融合了 Mamba和 Transformer架构。传统的 Transformer 模型虽然强大,但在处理长序列时会消耗Ne大量内存和计算资源。而 Mamba 架构则引入了选择性状态空间模型(SSM),能够以线性复杂度处理长信息序列,从而在内存和计算开销上更具优势。Nemotromon-H 系列通过用线性状态空间层替换大部分注意力层,在长上下文处理上实现了2-3倍的吞吐量提升,同时保持了高精度。 这款模型的一大创新是其内tr置的“推理”功能,允许用户在模型输出最终答案前进行自我检查。用户可以通过简单的控制符(如 英伟达根据其开放模型许可协议发布了 Nemotron-Nano-9B-V2,该协议对企业友好且高度宽松。英伟达明确表示,企业可以自由地将an该模型用于商业用途,并且无需为使用该模型支付费用或版税。 尽管如此,协议仍有一些核心要求,例如用户必须遵守内置的安全机制、在重新分发模型时进行归属标注,并遵守o-相关法律法规。英伟达表示,该协议旨在确保负责任和合乎道德的使用,而不是通过限制商业规模来盈利。这使得 Nemotron-Nano-9B-V2成为了那些希望在9B降低成本和延迟的同时,保持高精度的企业开发者的理想选择。专为效率和推理而生
融合 Transformer 与 Mamba 架构
独特的推理控制功能
/think或 /no_think)来开启或关闭此功能。模型还支持运行on时“思考预算”管理,开发者可以限制用于内部推理的令牌数量,从而在准确性和延迟之间取得平衡。这对于客户支持或自主代理等对响应速度有要求的应用场景尤为关键。严格的开-N放许可,瞄准企业应用
-
上一篇
-
下一篇
- 最近发表
-
- 云计算开发:Python练习实例-求100之内的素数
- 南瓜饼要怎么做
- Databricks与OpenAI达成1亿美元合作,推动 AI 集成新篇章
- 腾讯混元开源端到端视频音效生成模型HunyuanVideo-Foley
- 亚马逊特拉华仓库新员工将获3000美元签约奖金 并与机器人一起工作
- 美国云计算公司Salesforce领投Darwinbox 1500万美元融资
- 全新多语种编码器 mmBERT:超越 XLM-R,提升速度与效率
- OpenAI 再闯音乐生成赛道:新工具可为视频智能配乐,联手茱莉亚学院打磨专业级 AI 作曲能力
- 谷歌在土耳再遭3665万美元罚款:滥用搜索引擎市场主导地位
- 标签: 海清智元 周波 港交所 IPO
- 随机阅读
-
- Firefox 浏览器新增 AI 搜索引擎 Perplexity 提升用户搜索体验
- 标签: 一嗨租车
- 标签: 三只松鼠 2025财报 高端性价比 生活馆
- 云计算核心技术Docker教程:Docker 跨链接通信
- 标签: 术锐机器人 徐凯 手术机器人 IPO辅导
- 微软正式发布 GPT-realtime 模型,主打更逼真语音与多模态输入
- 标签: 澜起科技 DDR5芯片 杨崇和 内存接口芯片
- 标签: T1 埃安 UT super 赵明 中国手机
- NBA中国与阿里云达成合作,将开发「NBA篮球大模型」
- 标签: 张雪机车 820RR 摩托车安全
- 美国会周五举行“谷歌FB垄断媒体业”听证会 微软加入“控诉”方
- 京东云发布云原生自研中间件JCQ 性能容量接近无限扩展
- 英特尔:2025年生产1.8纳米芯片
- 标签: 美团 淘宝闪购 京东外卖 破卷向善
- 阿里云将彻底分拆,张勇:看到巨大市场潜力,对未来充满信心
- 标签: 小红书 美加墨世界杯 世界杯转播 体育内容
- 企业家不应忽视 Kubernetes 的潜能
- OpenAI新研究称GPT-5为迄今“政治偏见最少”的AI模型
- 《黑镜》来了!波士顿动力机器狗上岗纽约警局,蹦蹦哒哒出街执法
- 标签: 美图公司 开拍 RoboNeo 美图设计室
- 搜索
-
- 友情链接