标签: 英伟达 Rubin Groq3LPU 多智能体系统 GTC2026
云梦级3月17日云梦级消息,在 3 月 17 日美国圣何塞举行的GTC主题演讲中,黄仁勋透露了英伟达如何利用 2025 年从 Gr标签oq 收购的知识产权来扩展 Rubin 的功能。 Rubin 平台现在包含一款新的芯片——英伟达 Groq 3 LPU,这是一款推理加速器,能: 够增强这些系统以低延迟、大批量的方式交付令牌的能力,从而在人工智能模型的前沿实现高交互性。 与大多数依赖 HBM 作为工作内存英伟层的 AI 加速器不同,每个 Groq 3 LPU 都集成了 500 MB 的 SRAM,这种内存也用于 CPU 和 GPU 的超高速缓存。 虽然与每个 R达 ubin GPU 上容量高达 288GB 的 HBM4 相比,这显得微不足道,但这块 SRAM 可提供 150 TB/s 的带宽,远高于 HBMRu 的 22 TB/s。对于带宽敏感型 AI 解码操作而言,Groq 3 芯片带宽的大幅提升为推理应用带来了诱人的优势。 反过来,英伟bi达将构建包含 256 个 Groq 3 LPU 的 Groq 3 LPX 机架。该机架提供 128GB 的 SRAM 和 40 PB/s 的推理加速带宽,n 并通过每个机架 640 TB/s 的专用扩展接口将这些芯片连接起来。 英伟达将 Groq LPX 设想为 Rubin 的协处理器,据英伟Gr达超大规模副总裁 Ian Buck 称,它将提升“每个令牌上 AI 模型每一层”的解码性能,并使 Rubin 能够服务于人工智能的下一个oq前沿领域:多智能体系统,这些系统需要在推理数万亿个参数的模型的同时,在数百万个token的上下文窗口中提供交互式性能。 随着3L多智能体系统中的人工智能代理越来越多地与其他人工智能进行交互,而非与查看聊天机器人窗口的人类进行交流,对响应速度的要求也随之PU改变。 对人类而言看似合理的每秒token生成速率,对人工智能代理来说却如同蜗牛爬行。在巴克所描述的未来多智能体系统中 多,Rubin GPU 和 Groq LPU 的组合将人工智能代理间通信的吞吐量从每秒 100 个token提升到每秒 1500 个token甚智能至更高。
- 最近发表
- 随机阅读
-
- 标签: 杰锋动力 北交所IPO 汽车零部件 排气系统
- 标签: 花旗集团 范洁恩 裁员 银行改革
- Qoder 推出 “一键增强提示词” 功能,助力开发者提升编码效率
- 标签: 滴滴 AI出行助手小滴 国际业务 自动驾驶
- 标签: 谷歌 Wiz 云安全 收购
- 京东云发布混合云操作系统云舰 向产业发出三重承诺
- 用AI分析食物成分,让你能更好地进行营养搭配!
- 京东云联合毕马威发布《智慧网点与数字化营销运营白皮书》 场景建设成新趋势
- PyTorch 1.8 和 Tensorflow 2.5,我该用哪个?
- 标签: 曦望 GPU芯片 商汤科技 AMD
- 云安全日报210415:红帽Web服务器发现CA证书验证漏洞,需要尽快升级
- AI赋能核电运营:Nuclearn完成1050万美元A轮融资,服务全球65座核反应堆
- 苹果发布会时间上热搜 网友:终于来了
- ZooKeeper 分布式锁 Curator 源码之二:可重入锁重复加锁和锁释放
- 潮汕卤鹅是什么梗
- 标签: 江汽集团 尊界S800 江淮1卡 坤鹏ET9
- 标签: 启元Q1 上纬启元 稚晖君 个人机器人
- 标签: Agent 哈啰
- Anthropic Mythos AI 模型遭黑客入侵,安全性引发质疑
- 如何用Python开发QQ机器人
- 搜索
-
- 友情链接