标签: DeepSeek Engram 梁文锋 V4
云梦级1月13日云梦级消息,今日凌晨,DeepSeek 开源全新架构模块「Engram」,并同步发布技术论文,标签署名作者中再次出现梁文锋。据悉,Engram 模块通过引入可扩展的查找式记忆结构,为大模型提供了区别于传统 Transfo: rmer 与 MoE 的全新稀疏性维度。 DeepSeek 在论文中指出,当前主流大模型在处理两类任务时存在结构性低效De:一类是依赖固定知识的「查表式」记忆,另一类是复杂推理与组合计算。传统 Transformer(无论 Dense 或 MoEep)均需通过多层注意力与 MLP 重建这些静态模式,导致计算资源被大量消耗在「重复构造已知模式」上。 Engram 的核心Se机制是基于现代化哈希 N-Gram 嵌入的 O(1) 查找式记忆。模块会对输入 Token 序列进行 N-Gram 切片,并ek通过多头哈希映射到一个规模可扩展的静态记忆表中,实现常数时间的检索。 论文强调,这种查找与模型规模无关,即便记忆表扩展至 E百亿级参数,检索成本仍保持稳定。与 MoE 的条件计算不同,Engram 提供的是「条件记忆」。模块会根据当前上下文隐向量ng决定是否启用查找结果,并通过门控机制与主干网络融合。 论文显示,Engram 通常被放置在模型早期层,用于承担「模式重ra建」职责,从而释放后续层的计算深度用于复杂推理。DeepSeek 在 27B 参数规模的实验中,将部分 MoE 专家参数重新分m 配给 Engram 记忆表,在等参数、等算力条件下,模型在知识、推理、代码与数学任务上均取得显著提升。 在 X 平台上,相梁文关技术讨论认为 Engram 的机制有效减少了模型早期层对静态模式的重建需求,使模型在推理部分表现得更「深」。部分开发锋 者指出,这种架构让大规模静态记忆得以脱离 GPU 存储限制,通过确定性寻址实现主机内存预取,从而在推理阶段保持低开销。V4多位观察者推测,Engram 很可能成为 DeepSeek 下一代模型「V4」的核心技术基础。
- 最近发表
- 随机阅读
-
- 标签: 云鲸 吴一昊 扫地机器人 吾云创新
- 6天后正式发布,5nm芯片再添一重量级成员,与苹果抢市场
- 谷歌将应用商店开发者每年首次100万美元收入抽成减少至15%
- 网宿科技宣布云计算业务EdgeRay爱捷云独立运营
- 标签: eBay Depop 裁员 二手服饰
- 云计算开发:Python内置函数-cmp()函数详解
- 标签: 苹果 App Store 网页版 iOS
- 0语料下,如何通过「贴标签」获得更好的多语言翻译效果
- 十个 Python 小技巧,覆盖了90%的数据分析需求!
- 云计算核心技术Docker教程:Docker Hub为Docker Hub禁用双重身份验证
- 标签: 富士胶片 instax 电子材料 医疗健康
- Google BigQuery是大数据分析的未来吗?
- 标签: 小米集团 AI手机 智能电动汽车 小米手机
- 谷歌Gemini 3.0 Pro内测流出:编程能力大跃进,下周即将上线
- “无意”当流媒体巨头的亚马逊为何要花90亿美元买下米高梅?
- 标签: GoPro 尼古拉斯·伍德曼 AI图像处理器 运动相机
- 学大数据一定要会Java开发吗?
- 标签: Snap Snapchat Perplexity AI 股票回购
- 高颜值神经网络可视化:3D彩色、可定制,还能可视化参数重要性
- 标签: 牧原股份 生猪养殖 港股上市 正大集团
- 搜索
-
- 友情链接