512张GPU炼出10万亿参数巨模型!这个模型今年双十一已经用上了
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 100000亿! (没错,是10万亿) 而且还是用512张GPU,训练了10天搞出来的! 这就是达摩院最新推出的超大规模通用51性人工智能大模型,M6-10T。 它在电商、制造业、文学艺术、科学研究等领域都有着多模态、多任务的能力,在各自现实场景的下游任务中也频频出现。 而且还能做到即开即用,你今年的双十一背后就有M6-10T的身影。 少量资源快速训练大2张模型 不过剁手节的事可以先放一边,问题关键是:M6-10T到底是怎么使用少量资源完成对极限规模模型的训练的? 要知道,之前微软的DeepSpeed MoE模型,也是使用了512张A100才完成了3.5万亿参数的训练。 而自家在GP5个月前推出的万亿级参数的M6,则是用480块GPU训练的。 所以,512张GPU怎么就放下了10万亿参数? 这就要提到达摩院自研的分布式框架Whale。 基于这一框架,M6模型可以使用粒度可控的CPU offload方法,灵活U炼地选择offload的模型层。 也就是说,可以不用将所有的权重offload到CPU memory中,而选择保留部分权重在GPU memory上进行计算,以进一步地提高GPU利用率。 放下了参数,下一步就是提高训练效率。 M6-出110T模型采用了一种叫做共享解除(Pseudo-to-Real)的新的训练策略: 这一策略分为两个阶段。 第一阶段,利用跨层参数共享机制快速构建并训练小模型Pseudo Giant。 参数少得多的Pseudo Giant不受内存0万的限制,因此可以用大批量训练来加速。 再配合上专家拆分和合并的机制,最终只需要使用256张GPU即可快速训练一个Pseudo Giant。 第二阶段则解除共享参数的联系,得到新的Real Giant模型。 “共享”阶段训练好的模型亿参层的参数会为Real Giant的每一层提供初始化,大模型即可在训练好的小模型的基础上继续优化。 在下游评估中可以看到,从头开始训练Real Giant模型非常耗时,而Pseudo Giant训练的收敛速度比Real Giant训数巨练有5倍左右的优势: △在48个NVIDIA V100 GPU设备上训练 这一机制不仅能够使M6-10T在样本量的维度上具有更快的收敛速度,也能将模型的训练速度提升7倍以上。 而相对于之前的M6-MoE和M6-T,采用了新的训练策略模型的M60-10T迷惑度(perplexity)更低,模型更优越: 可以说,之前使用480GPU的万亿参数模型M6,如果采用现在的方法,那就只需要64张GPU就能完成训练。 双十一背后的模型 而除了算法层面的价值,M6-10T一!这经推出就能够投入使用。 比如说即将来临的双十一中,你或许就能发现这些AI设计款的衣服上架。 △基于M6设计生成的服装款式 这就是大模型带来的创造力。 在结合了StyleGAN后,M6能够在少样本情况下自动生成图像,且保持良好的细节个模质量和可编辑性。 而且与传统的设计款式图不同,M6生成的还是更接近实物的照片效果。 在手机淘宝和支付宝中,也会有基于M6智能生成的内容文案: 同时,大模型的多模态特征提取能力,也能进行商品属性标签补充,用于进行认知召回。 可以型今说,阿里巴巴内部超过40个业务团队背后,都有着基于个版本的M6模型形成的服务化平台的支撑。 而除了电商领域,还有金融、工业、传统科学等诸多应用方向。 现在,M6服务化平台以及成为了前业界覆盖最广泛的大模型生态的服务化平台。 那年双么未来是继续追求更大量级的模型,进行参数规模的迭代吗? 阿里达摩院M6的科研团队表示: 伴随着参数规模的扩大,当前的预训练模型在语言模型建模之类的任务上取得了不错的进展, 因此,如何将大模型有效迁移到多种十一类型的下游任务上,让大模型真正地理解并运用知识,这将是研究人员会进一步探索的问题。 论文:
但对知识的理解还比较浅薄。
https://arxiv.org/abs/2110.03888
- 最近发表
-
- 腾讯云披露 4 月 8 日服务故障原因:云 API 异常持续近 87 分钟
- 消息称阿里紧急追加寒武纪思元370订单至15万片 阿里云人士回应
- 清华天才姚顺宇辞职跳槽,携手 DeepMind 开创新纪元!
- Google量子计算AI实验室大公开,并分享了未来十年的路线图
- IDC:2029年全球 AI 投资将达到12619亿美元
- 标签: 汽车之家 奥迪E5 中央网信办 汽车互联网
- 外媒:阿里云计划今年年底前在菲律宾开设首个数据中心
- 标签: 昊铂 昊铂A800 华为乾崑智驾ADS4.1 鸿蒙座舱5
- 标签: 蔚来 神玑NX9031 爱芯元智 智能驾驶芯片
- 标签: 苹果 iPhone 17 M5芯片 Apple Intelligence
- 随机阅读
-
- 微软引入 Anthropic AI 模型,拓展 Copilot Assistant 功能
- 韩国ChatGPT用户数首次突破2000万,年轻人热情高涨!
- Twitter在旗下阅后即焚功能Fleets中测试全屏广告
- 消息称Facebook准备对苹果发起反垄断诉讼
- 标签: 智谱 GLM-5 科创板 香港IPO
- 标签: 博迈医疗 创业板IPO 医疗器械 腾讯创投
- 谷歌AI搜索大战升级:AI模式进军西班牙语市场,正面硬刚 OpenAI
- 思科第四财季营收131亿美元 净利润同比增长14%
- 因为拒绝删除部分内容 谷歌和Facebook在俄罗斯被罚
- AI教你画油画:任意画风都可驾驭,笔画序列秒秒钟呈现
- 金山办公半年报:AI月活用户突破2900万,WPS365营收暴增62%
- 标签: 新恒泰 IPO 发泡材料 北交所
- AI 发展方向大争论:混合AI ?强化学习 ?将实际知识和常识整合到AI中 ?
- 云计算开发实例:Python3移除字典点键值(key/value)对
- 标签: Anthropic Claude Opus 4.6 AI融资 英伟达
- 英特尔复苏计划导致利润承压 数据中心业务疲软引发担忧
- 标签: 高德车服
- 标签: 科伦药业 科伦博泰生物 博度曲妥珠单抗 塔戈利单抗
- 标签: BEYOND
- 微软正在就以100亿美元收购移动聊天服务商Discord进行谈判
- 搜索
-
- 友情链接