比用Pytorch框架快200倍!0.76秒后,笔记本上的CNN就搞定了MNIST
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 在MNIST上进行训练,可以说是计算机视觉里的“Hello World”任务了。 而如果使用PyTorch的标准代码训比用练CNN,一般需要3分钟左右。 但现在,在一台笔记本电脑上就能将时间缩短200多倍。 速度直达0.76秒! 那么,到底是如何仅在一次epoch的训练中就达到99%的准确率的呢? 八步提速200倍 这是一台装有GPyeForce GTX 1660 Ti GPU的笔记本。 我们需要的还有Python3.x和Pytorch 1.8。 先下载数据集进行训练,每次运行训练14个epoch。 这时两次运行的平均准确率在测试集上为99.to185%,平均运行时间为2min 52s ± 38.1ms。 接下来,就是一步一步来减少训练时间: 一、提前停止训练 在经历3到5个epoch,测试准确率达到99%时就提前停止训练。 这时的训练时间就减少了1/rc3左右,达到了57.4s±6.85s。 二、缩小网络规模,采用正则化的技巧来加快收敛速度 具体的,在第一个conv层之后添加一个2x2的最大采样层(max pool layer),将全连接层的参数减少4倍以h框上。 然后再将2个dropout层删掉一个。 这样,需要收敛的epoch数就降到了3个以下,训练时间也减少到30.3s±5.28s。 三、优化数据加载 使用data_loader.save_data(),将架快整个数据集以之前的处理方式保存到磁盘的一个pytorch数组中。 也就是不再一次一次地从磁盘上读取数据,而是将整个数据集一次性加载并保存到GPU内存中。 这时,我们只需要一次epoch,就能将平20均训练时间下降到7.31s ± 1.36s。 四、增加Batch Size 将Batch Size从64增加到128,平均训练时间减少到4.66s ± 583ms。 五、提高学习率 使用Superconverg0倍ence来代替指数衰减。 在训练开始时学习率为0,到中期线性地最高值(4.0),再慢慢地降到0。 这使得我们的训练时间下降到3.14s±4.72ms。 六、再次增加Batch Size、缩小缩小网络!0规模 重复第二步,将Batch Size增加到256。 重复第四步,去掉剩余的dropout层,并通过减少卷积层的宽度来进行补偿。 最终将平均时间降到1.74s±18.3ms。 七、最后的微调 首先,将最大采样层.7移到线性整流函数(ReLU)激活之前。 然后,将卷积核大小从3增加到5. 最后进行超参数调整: 使学习率为0.01(默认为0.001),beta1为0.7(默认为0.9),bata2为0.9(默认为6秒0.999)。 到这时,我们的训练已经减少到一个epoch,在762ms±24.9ms的时间内达到了99.04%的准确率。 “这只是一个Hello World案例” 对于这最后的结果,有人觉得司空见惯: 优化数后,据加载时间,缩小模型尺寸,使用ADAM而不是SGD等等,都是常识性的事情。 我想没有人会真的费心去加速运行MNIST,因为这是机器学习中的“Hello World”,重点只是像你展示最小的关键值,让你笔记熟悉这个框架——事实上3分钟也并不长吧。 而也有网友觉得,大多数人的工作都不在像是MNIST这样的超级集群上。因此他表示: 我所希望的是工作更多地集中在真正最小化训练时间方面。 GitHub:
https本上://github.com/tuomaso/train_mnist_fast
- 最近发表
- 随机阅读
-
- 苹果 AI 转型面临新挑战:Siri 前负责人离职,AI 搜索项目前景未卜
- WisdomAI 推出“Proactive Agents”,让 AI 成为 24/7 的数据分析师
- 标签: 日产汽车 2025财年 经营重建 结构改革
- 标签: 海菲曼 HIFIMAN 电声器件 专精特新
- Meta全球上线AI语音翻译功能,Facebook和Instagram创作者迎来多语言内容突破
- 消息称谷歌与SpaceX正洽谈将数据中心送入太空
- 用“大白话”精准搜图,OpenAI的CLIP惊艳了所有人
- “马化腾”称用阿里云不如用腾讯云?腾讯云回应:假的
- 标签: 酷家乐 张吉 智能硬件 设计师工具
- 标签: 小米集团 星纪魅族 曾洋 公关媒介
- 马斯克的Grok聊天机器人以超低价赢得美国政府合约
- 标签: 极越 集度汽车 上海集度 实质合并重整
- 标签: 工信部 公安部 机动车合格证 国产小客车
- Gartner:阿里云IaaS基础设施能力超越亚马逊、谷歌全球第一
- 标签: SpaceX IPO 马斯克 特斯拉
- IDC:2021年全球VR头显出货量破千万 Oculus份额达80%
- 重磅对话:三位顶尖科学家齐聚知乎,共议AI如何重塑科研未来!
- 云计算开发:Python内置函数-delattr()函数详解
- 免费“外挂”浏览器来了!Perplexity 把 200 美元/月的 Comet 下放全民,边刷网页边替你写邮件、抢票、比价的 AI 小秘书上线
- 云计算开发:Python内置函数-callable() 函数详解
- 搜索
-
- 友情链接