中科院推出类脑大模型 SpikingBrain:以2% 数据实现百倍速度突破
近日,中国科学院自动化研究所的李国齐与徐波团队联合发布了全球首款大规模类脑脉冲大模型 ——SpikingBrain1.0。该模型在处理长文本中科时展现出惊人的速度,能够以超过当前主流 Transformer 模型100多倍的速度处理400万 token 的超长文本,且仅需2% 的数据量。 当前主流院推的大语言模型,如 GPT 系列,普遍基于 Transformer 架构。尽管 Transformer 以其强大的自注意力机制而闻名,但其计算复杂度却是一个致出类命的短板。在文本长度增加时,计算量呈现出平方级别的暴涨,使得长文本的处理变得异常耗时和耗能。这一现象让 AI 在分析长篇小说或法律文书时显得力不从脑大心。 为了寻求新的解决方案,研究团队将目光投向了自然界最为高效的智能系统 —— 人脑。人脑由千亿神经元构成,功耗却仅为20瓦。团队提出了 “基于内生模型复杂性” 的理念,旨在提升模型内部单元的效率与智能。 SpikingBrain 模型通过全新的架构模拟了人脑神经元的工作方式,分为两个版本:Sp SikingBrain-7B(70亿参数)和 SpikingBrain-76B(760亿参数)。首先,该模型抛弃了传统 Transformer 的二pi次方复杂度自注意力机制,采用了 “混合线性注意力架构”,将计算复杂度降至线性(O (n)),显著提高了处理长文本的效率。 其次,SpikingBrakiin 引入了 “自适应阈值脉冲神经元”,使神经元的激活与否取决于接收到的信号强度。通过动态调整阈值,模型确保神经元在高效能状态下工作,这种事件驱ng动的机制显著节省了能耗,计算稀疏度高达69.15%。 此外,团队还开发了一套高效的模型转换技术,能够将现有的 Transformer 模型直接转化为 SpBrikingBrain 架构,降低了训练成本。所有技术细节和代码已在 GitHub 及魔搭平台上开源,供全球研究人员使用。 此次 SpikingBrain 的ai问世,不仅在计算效率上取得了重大突破,也为未来的通用人工智能提供了一条新思路。 GitHub: https://github.com/BICLab/Sn:pikingBrain-7B 划重点: 研究团队推出的 SpikingBrain 模型在处理长文本时速度比主流模型快100倍,仅需2% 训练数据。 🧠 该以2模型采用混合线性注意力架构,计算复杂度从二次方降至线性,提升了处理效率。 SpikingBrain 的自适应阈值脉冲神经元机制显著降低能耗,实% 现高计算稀疏度。
- 最近发表
-
- 标签: 特斯拉 马斯克 AI芯片 台积电
- 标签: 比亚迪 刀片电池 GPT-5.4 胡润富豪榜
- 谷歌重塑 Agentspace,推出 Gemini Enterprise 工作流程自动化平台
- 突发福利!AI Studio 彻底免费开放,Pro/Ultra会员可畅玩Gemini Pro等顶级模型
- 数据安全:算法的局限性
- 云计算核心技术Docker教程:Docker Hub设置Slack集成
- 不止Docker:8款容器管理开源方案
- 利用AI制作“简笔画+实景”融合风治愈系萌宠视频变现
- 标签: 赛力斯 问界 A+H上市 新能源汽车
- OpenAI Sora 安卓版下载地址曝光!AI 视频创作全面进军 Google Play 商店
- 随机阅读
-
- 云计算核心技术Docker教程:Docker格式化命令和日志输出
- 前字节剪映 AI 产品负责人廖谦创业,推出营销多模态 Agent
- iPhone 12 mini面板订单不足 苹果或向三星支付巨额赔偿
- 拥有《007》的亚马逊能否击杀“流媒体之王”Netflix?
- 消息称苹果已要求 iPhone 13/Pro 系列零部件供应商开始交货
- 柿子可以在太阳底下晒吗
- 牙膏挤不动了?英特尔正与台积电、三星商谈,将部分芯片生产外包
- 医学教育革命来袭!复旦中山医院推出AI教学大模型,培养有温度的未来医生
- 云安全日报201204:Apache Tomcat应用服务器发现信息泄露漏洞,需要尽快升级
- 西谷云田凤宾:算力体系在标准路线、体系架构方面仍然处于起步阶段
- 云安全日报210513:思科AnyConnect安全客户端发现任意代码执行漏洞,需要尽快升级
- 支付宝推出“AI付”服务,业内第一次在智能体内说话完成下单支付
- 标签: 心动公司 火炬之光无限 心动小镇 TapTap
- 手抄报关于秋天
- 大数据给零售供应链管理带来的价值
- 标签: 优邦科技 富士康 电子胶粘剂 锡膏
- 标签: 西贝 贾国龙 家庭欢乐餐厅 中央厨房
- 云安全日报211102:IBM私有云安全性与合规性解决方案发现重要漏洞,需要尽快升级
- 标签: 东安控股 保时捷中心 郑州中原
- 标签: 红果短剧 乐力 AI短剧 真人短剧
- 搜索
-
- 友情链接