微软 Azure ND GB300 再创记录:每秒推理速度达 110 万token
微软近日宣布,其 Azure ND GB300v6虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110万token的行业新纪录。微软微软首席执行官萨提亚・纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。” Azure ND GB3 A00虚拟机采用英伟达的 Blackwell Ultra GPU,具体为 NVIDIA GB300NVL72系统,配置了72个 NVIDIA Blackwellzu Ultra GPU 和36个 NVIDIA Grace CPU,采用单机架构设计。这款虚拟机专为推理工作负载优化,具有50% 的 GPU 内存提升和16% 的热设计re功率(TDP)提高。 为了验证性能提升,微软在一个 NVIDIA GB300NVL72域下的18台 ND GB300v6虚拟机上运行了 Llama270B(FP N4精度)模型,使用 NVIDIA TensorRT-LLM 作为推理引擎。微软表示:“一个 NVL72机架的 Azure ND GB300v6实现了总计110万D 个token每秒的推理速度。” 这一新记录超越了微软之前在 NVIDIA GB200NVL72机架上实现的865,000token每秒的成绩。 根据系统GB配置,每个 GPU 的性能大约为15,200token每秒。微软还提供了详细的模拟过程和所有日志文件及结果。该性能记录经过了独立的性能验证和基准30测试公司 Signal65的验证。 Signal65的实验室副总裁拉斯・费洛斯在博客中指出:“这一里程碑不仅突破了每秒百万token的障碍,还0 在一个能够满足现代企业动态使用和数据治理需求的平台上实现。” 他补充道,Azure ND GB300相较于上一代 NVIDIA GB200在推理性能上提升再创了27%,而仅增加了17% 的功率规格。与 NVIDIA H100代相比,GB300在推理性能上几乎提升了10倍,同时在机架级别的功率效率上提高了近2记录.5倍。 划重点: 微软 Azure ND GB300v6虚拟机实现每秒推理110万token,创造行业新纪录。 &:每nbsp; 该虚拟机配置72个 NVIDIA Blackwell Ultra GPU 和36个 NVIDIA Grace CPU,专为推理优化。 &n秒推bsp; 相比上一代,Azure ND GB300在推理性能上提升27%,功率效率提升近2.5倍。
- 最近发表
-
- 深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝
- 贝索斯4.05亿美元押注机器人大脑:FieldAI欲造万能AI,从人形机器人到自动驾驶全面统治
- 甲骨文第二财季营收98亿美元 云相关业务贡献82亿美元
- IDC 报告:2024年中国 AI 公有云服务市场规模激增,阿里云蝉联中国市场第一
- 阿里云付费客户数超400万 服务超60%A股上市公司
- 云计算开发实例:Python3按键(key)或值(value)对字典进行排序
- 标签: MacBook Neo Seedance 2.0 尚界 Z7 华为乾崑
- 标签: Grok X xAI
- IDC:2022上半年中国IT安全软件市场同比增长13.1%
- 算法的进化:机器会引发战争吗?
- 随机阅读
-
- 消息称腾讯云将推出面向行业的大模型
- Salesforce 2023财年第四财季净亏损9800万美元 同比有所扩大
- 标签: 拜耳集团 拜复乐 作物科学 草甘膦
- 标签: 小米汽车 宋钢 于立国 雷军
- 标签: 章鱼动力 SynapX K3 PhysicalAGI
- 谷歌、FB等签署新倡议承诺积极缴税,亚马逊、苹果缺席
- 微软为记事本添加免费的 AI 功能,提升用户体验
- 使用 Hippo 进入 WebAssembly
- 标签: 兆易创新 港股上市 A+H 基石投资者
- 标签: 鸿蒙智行 我是大彬同学 名誉权侵权 法务声明
- 标签: 大族数控 大族激光 PCB设备 港股IPO
- 微软重新开放办公室:3月29日允许更多员工返回公司
- 云计算核心技术Docker教程:Docker集群.将节点添加到群
- Kubernetes容器平台架构解读
- 标签: 爱诗科技 PixVerse 拍我AI 多模态视频大模型
- 蜈蚣属于昆虫吗
- 云计算核心技术Docker教程:Docker Hub设置Slack集成
- 在混合交通流中网联自动驾驶车如何避撞:一个基于模型的强化学习方法
- 标签: 上海医药 中药业务 罕见病防治 CAR-T
- 理想汽车发布MindGPT 3.1智能体模型,每秒200字符输出速度提升5倍
- 搜索
-
- 友情链接