MIT博士生、北大校友,利用自监督算法,解决了数据集中这一常见的“难题”
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 训练模型时,你是否也遭遇过这样的“尴尬”时刻: 好不容易找到了自己想要的数据集,结果点进去一看,大部分样本都是一类物体。(例如,数据集标签「动物」,结果80%的样本都是「猫」) 用上面这个数据集训练的动物检测模型,可能只能识MI别「猫」。 这类数据不均衡(某一标签数量太多,其余标签数量太少)的问题,在机器学习中被称为“长尾问题”。 这个问题导致,数据集中(尤其是大型数据集)样本数量少的物体,泛化效果会非常差。 △像一条长长的尾巴 然而事实上,在一个数据集中,几乎总有常见和不常见的类别,其中不常见的类别,又往往成为需要被识别的目标T博。 例如,自动驾驶感知模型中,就要求AI能提前预测可能违规的情形,并及时阻止。 然而在自动驾驶数据集里,不可能全是肇祸、违规的场景(大部分场景还是安全的)。 那么,这些“不均衡”的数据集,就真的不能用了吗? 一起来看看。 一些已有的解决办法 事实上,此前为了解决“不均衡”数据集,研究者们已经尝试士生过多种方法。 仅仅是主流算法,就分为七种: 重采样 (re-sampling):分为对少样本的过采样、及多样本的欠采样,但这2种方法,都有欠缺的地方。其中,过采样容易发生少样本过拟合,无法学习更鲁棒、易泛化的特征,在不平衡数据上表现较差;欠采样会造成多样本严重信息损失,导致发生欠拟合。 数据合成 (synt、北hetic samples):生成和少样本相似的新数据。以SMOTE方法为例,对于任意选取的少类样本,它用K近邻选取相似样本,并通过对样本线性插值得到新样本。这里与mixup方法相似,因此,也有非均衡的mixup版本出现。 重加权 (re-weighting):为不同类别(甚至不同样本)分配不同的权重。大校其中,权重可以自适应。这一方法诞生出很多变种,如对类别数目的倒数进行加权、对“有效”样本数加权、对样本数优化分类间距的损失加权等等。 迁移学习 (transfer learning):对多类和少类样本分别建模,将学到的多类样本信息/表示/知识迁移给少类别使用。 度量学习 (metric learning):希望能学到友,更好的嵌入,以对少类附近的边界/边缘更好地建模。 元学习/域自适应 (meta learning/domain adaptation):分别对头、尾部数据进行不同处理,自适应地学习如何重加权,或是规划成域自适应问题。 解耦特征和分类器 (decoupling representation & classif利用ier):研究发现,将特征学习和分类器学习解耦、将不平衡学习分为两个阶段,并在特征学习阶段正常采样、在分类器学习阶段平衡采样,可以带来更好的长尾学习效果。这是目前最优的长尾分类算法。 但这些,在样本极端失衡的情况下也没法用,如果真的只有几个样本,模型的性能差异就无法避免。 关键在于,究竟该怎么理解这里面的“自监不均衡”? “不均衡”标签的内在价值 那些本身就不平衡的数据标签,会不会具有什么价值? 研究发现,这些不平衡的数据标签,就像是一把“双刃剑”。 一方面,这些标签提供了非常珍贵的监督信息。 在特定任务上,有监督学习通常比无监督学习的准确性更高,即使不平衡,标签也都具有“正面价值”。 但另一方面,标签的不平衡,会导致督算模型在训练过程中,被强加标签偏见 (label bias),从而在决策区域被主类别极大地影响。 研究者们认为,即使是不平衡标签,它的价值也可以被充分利用,并极大地提高模型分类的准确性。 如果能先“抛弃标签信息”,通过自监督预训练,让模型学习到好的起始表示形式,是否就能有效地提高分类准确性? 从半监督,到自监督预法,训练 作者们先对半监督下的不均衡学习进行了实验。 实验证明,利用无标记数据的半监督学习,能显著提高分类结果。 从图中可以看出,未标记数据,有助于建模更清晰的类边界,促成更好的类间分离。 这是因为,尾类样本所处区域数据密度低,在学习过程中,模型不能很好地对低密度区域进行建模,导致泛化性差。 而无标记数据,能有效提解决高低密度区域样本量,使得模型能对边界进行更好的建模。 然而,在一些很难利用半监督学习的极端情况下,仍然需要自监督学习出场。 这是因为,一旦自监督产生良好初始化,网络就可以从预训练任务中受益,学习到更通用的表示形式。 而实验同样证明了这一点。 正常预训练的决策边界,很大程度上会被头类样本改变,导致尾类样本大了数量“泄漏”,无法很好地泛化。 而采用自监督预训练的话,学习到的样本保持清晰的分离效果,且能减少尾类样本泄漏。 也就是说,为了利用自监督克服标签偏见,在长尾学习的第一阶段,需要先放弃标签信息,进行自监督预训练。 此阶段后,可以使用任何标准训练方法,训练得到最终模型。(例如此前所用的迁移学习、重加权、域自适据集应……) 这样,就能更好地解决长尾问题。 作者介绍 论文二作Zhi Xu,本科毕业于伊利诺伊大学厄巴纳-香槟分校,同样是MIT的博士生,感兴趣的研究方向是机器学习理论和现代应用,目前主要在研究强化学习的稳定性、效率、结构和复杂度。 论文地址: https://arxiv.org/abs/中这2006.07529 项目地址: https://github.com/YyzHarry/imbalanced-semi-self https://zhuanlan.zhihu.com/p/259710601
- 最近发表
-
- 云安全日报210401:思科交换机操作系统软件发现任意代码执行漏洞,需要尽快升级
- 亚马逊计划在对美国企业的供应和服务方面支出超过1200亿美元
- 苹果重磅开源FastVLM与MobileCLIP2:85倍速度飙升,iPhone秒变AI神器!
- 标签: HuggingFace OpenAI 人工智能 大模型
- 标签: 美光科技 HBM4 HBM4E 1γ工艺
- 标签: 智界 华为 郭锐 智界R7
- 浜戝畨鍏ㄦ棩鎶�210716锛氭€濈�鍥㈤槦鍗忎綔瑙e喅鏂规�鍙戠幇SSL璇佷功楠岃瘉婕忔礊,闇€瑕佸敖蹇�崌绾�
- 标签: 英伟达 黄仁勋 AI五层架构 DeepSeek-R1
- 标签: 马斯克 Optimus Grok Neuralink
- 标签: 京东 刘强东 京东物流 物流成本
- 随机阅读
-
- WisdomAI 推出“Proactive Agents”,让 AI 成为 24/7 的数据分析师
- 陈皮是用哪种桔子做的
- 标签: 千里科技 赵明 印奇 AI商业闭环
- 快20倍!谷歌AI推TensorFlow 3D,智能汽车好用
- 云安全日报211009:IBM企业全面集成需求平台发现执行任意代码漏洞,需要尽快升级
- 云计算核心技术Docker教程:Docker使用device mapper存储驱动程序
- 华人博士生首次尝试用两个Transformer构建一个GAN
- 避免“大数据杀熟” 如何打破“信息茧房”?
- 标签: 均胜电子 智能汽车 汽车安全 港股上市
- 阿里云大模型“通义千问”开始邀请测试
- 单张人像生成视频!中国团队提出3D人脸视频生成模型,实现SOTA
- 标签: 智行者 黄石产投 特种无人驾驶 清华大学
- 微软公司与德国电信达成一项为期7年的云计算协议
- 标签: 埃斯顿 港股上市 工业自动化 机器人
- 阿里云创始人王坚:云计算的第三次浪潮有可能要几十年才能到高峰
- 微软CEO谈科技公司垄断:微软站在历史正确的一边
- 标签: 韵达股份 聂腾云 聂毅鹏 陈立英
- 丹麦音乐版权组织起诉美国 AI 音乐平台 Suno
- 2025 年上半年,中国教育机器人市场的硬件销售额达到了 10.7 亿元
- 从数字人直播到实时推荐,Akamai李文涛解构AI大促背后的算力密码
- 搜索
-
- 友情链接