Epoch不仅过时,而且有害?Reddit机器学习板块展开讨论
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 有一天,一个调参侠在训练一个深度学习模型,要用到的两个数据集损失函数不同,数据集的大小还不是固定的,每天都在增加。 他有Ep点发愁,这该怎么设置Epoch数呢? 在纠结的过程中,他突然想到:干嘛非得定一个Epoch数?只要对每个Batch进行独立同分布抽样 (IID Sampling)不就得了。 为了验证这个想法,调参侠去看了很多论文。发现越来越oc多的人介绍他们的训练方法时,只说进行了多少个Iteration,而抛弃了Epoch。 他想到,Epoch暗示并强调了数据集是有限的,这不仅麻烦,还有潜在的“危害”。把Epoch去掉,让循环嵌套的层数少一层总是好的。 于是他在h不Reddit发起了讨论:Epoch是不是过时了,甚至还有危害? Epoch多余吗? 有人对这个观点表示赞同: 挺有道理,当数据集大小有很大差距,Batch大小相同时,设置一样的Epoch数,岂不是大数据集参数更新的次数多,小数仅过据集参数更新次数少了,这似乎不对劲。 Epoch最大的好处是确保每个样本被定期使用。当使用IID抽样时,你只要能想办法确保所有样本被同样频繁地使用就好了。 但调参侠觉得让每个样本被定期使用就是他怀疑的点,IID抽样已经确保分布相同了时,,再让他们同频率被使用就是一种误导。 反对者认为: 不能因为你觉得车没开在路的正中间就放开方向盘不管了,虽然大撒把不会改变你正好在路中间的概率,但它增加了方差。 调参侠最后总结道,这个争议有点像统计学里的“频率派 而且VS 贝叶斯派”,即认为数据集到底应该是确定的还是不确定的。 该怎么比较模型? 调参侠还注意到,有人用Batch Loss做损失曲线。他认为这比Epoch Loss更有参考价值。 反对者觉得,你这个方式是挺好的,但Ep有害och依然有用。 因为即使在相同的硬件上,不同模型的算法效率不同也会带来巨大差异。 像各种Transformer和CNN这种底层代码实现都差不多,但是别的模型就可能有很不一样。比如我们自己的CUDA LSTM实现,至少和Cu?RdnnLSTM一样快,比原版TensorFlow实现快4倍左右。 最后,有个网友以CV模型为例对这个话题做出精彩总结,列了4种损失可视化方式,并介绍了什么情况该用哪个。 Loss/Epoch告诉你一个模型要观察同一个图像多少ed次才能理解它。 Loss/Iteration告诉你需要多少次参数更新。当比较优化器时这很有用,可以帮助你加快训练速度或达到更高的精度。 Loss/Total Image Seen告诉你算法看到了多少图像时的损失。适合比较两种算法使用di数据的效率。 如果你的算法在50万张时达到70%、100万张时达到75%,这可能比50万张时达到50%,100万张时达到80%的还要好。 另外,它还消除了Batch Size的影响。这允许在不同GPU上训练的具有不同Batch Sizet机的模型之间进行公平的比较。 Loss/Time也很重要,因为如果一个新模型减少了100个Epoch,但每个Iteration都慢100倍,我就不会选择这个模型。 虽然Loss/Time关系到硬件的具体表现,不够精准,我不会把这个写器学到论文里。但在自己的机器上这是很好的评估模型的参数。 使用数据增强时呢? 有网友提出,数据增强 (Data Augmentation)时Epoch也有点多余。因为数据集太小,人为给每个样本添加很多只有微小差距的版本,没习板必要让他们被同频率使用。 反对者认为,数据增强作为正则化的一种形式减少了过拟合,但你引入的实际信息在训练模型时仍然局限于原始数据集。如果你的原始数据集足够小,Epoch表示你向模型展示了整个训练集,仍然是有意义的。 有人问块展道: 你是想表达“纪元(Epoch)”的纪元结束了吗? 调参侠: 对,现在是“时代(Era)”的时代。 △无尽随机增强的首字母缩写ERA意为“时代”
- 最近发表
-
- 马斯克的二次元梦想成真!全新虚拟女友 Mika 强势上线!
- 好莱坞危机:Luma AI CEO 称唯有 AI 才能拯救电影行业
- 京东云加入openGauss社区理事会 将推StarDB for openGauss商业版
- Claude Pro 订阅方案调整:部分新用户或失去 Claude Code 使用权
- 标签: 问界汽车 天美蒙特利尔 ASML EUV光刻
- 从“上云”到“上链” 京东云发布数智供应链七大应用场景
- 标签: 贪玩游戏 斗罗大陆:史莱克学院 野兽领主:新世界 小游戏发行
- 以股权换豪宅:美国硅谷湾区银行家挂牌 13 英亩庄园,点名只要 Anthropic 股份
- 标签: 赛力斯 蓝电科技 赛豆科技 火山引擎
- 标签: 苹果 库克 iPhone Apple 50周年
- 随机阅读
-
- Facebook更新商业工具 WhatsApp将引入“商店”及个性化广告
- 云计算开发:Python练习实例-输出所有素数
- 标签: 字节跳动 豆包手机 林夕 Ocean
- 谷歌宣布推出第四代TPU Pods 算力是上一代的两倍
- 扎克伯格的Facebook形象修复计划
- 居家办公带来的好处:谷歌一年节省10亿美元支出
- 陈皮可以和桑葚一起泡吗
- 标签: 融资 智鼎机器人
- Superpanel融资530万美元:AI数字队友帮律所搞定客户接待难题
- 无影云电脑启动大规模商用 已服务众多行业客户
- DeepSeek API 实现百万 Token 上下文升级
- 接好了!这是你要的6个小众但特别好用AI技法
- 国内大厂纷纷入局 爆火的隐私计算究竟是什么?
- 英伟达市值突破5万亿美元,推动 AI 行业蓬勃发展
- 苹果 AI 转型面临新挑战:Siri 前负责人离职,AI 搜索项目前景未卜
- SAS收购英国Boemska公司,旨在加速人工智能在云计算方面的努力
- 美国加州货运抢劫案频发,AI 数据中心硬件成目标
- 软银以53.75亿美元收购 ABB 集团机器人业务,布局物理人工智能
- “探路者”亚马逊云科技 如何探路云计算?
- 标签: 阿里巴巴 ATH 通义实验室 千问
- 搜索
-
- 友情链接