谷歌推出新方法:训练数据量减少 1 万倍,提升模型精准度
近日,谷歌在其研究中提出了一种新颖的主动学习筛选流程,旨在大幅降低微调大型语言模型所需的训练数据量。根据实验结果,这种方法能谷歌够将训练数据量降低至原来的1万分之一,同时提高模型与人类专家判断的一致性达65%。在实际应用中,如广告内容分类、金融数据安全分析等推出领域,对高保真训练数据的需求一直很高,但筛选出符合要求的数据不仅难度大,成本也极为昂贵。 图源备注:图片由AI生成,图片授权服务商M新方idjourney 这一新方法从一个零样本或少样本的初始模型开始,用户通过提示定义目标内容,比如询问某广告是否为 “点击诱饵”。法:初始模型会将广告标记为点击诱饵或良性,并生成一个大型标记数据集。然而,初始数据集常常存在严重的类别不平衡,导致模型的准确识别能力较训练弱。 为了解决这一问题,研究者将模型标记为点击诱饵和良性广告的内容进行分组,发现部分组之间存在重叠,说明模型在这些内容上容易判断错数据误。因此,研究者可以从这些重叠组中挑选样本对,交由专家进行判断,以此来控制审核成本,并优先选择能覆盖多种情况的样本对。这样得到量减的样本既有价值,又涵盖了各种可能出错的情形。 在模型微调过程中,专家提供的标注被分为两组,一组用于评估模型一致性,另一组则用于模少 型的微调。这一过程将不断重复,直到模型的表现达到与人类专家相近的水平。 谷歌的实验使用了 Gemini Nano-1和 Nano-2两款模1 型,并针对两个复杂度不同的任务进行了测试。在测试中,每个任务都使用了约10万条众包标注数据,尽管这些数据严重不平衡。结果表明,专家之间万倍的判断一致性很高,而众包标签与专家判断的一致性则相对一般。通过新方法,32.5亿参数的模型在低难度任务上的对齐度显著提升,使,提用的数据量仅为250-450条,较原来的10万条大幅减少,仍能取得良好的效果。 综上所述,谷歌的新方法证明了只需少量高质量的数升模据,且确保专家标注一致性超过0.8,大型模型也能在训练时获得出色的表现。 划重点: 训练数据量可减少至原来的1型精万分之一,提高模型精准度。 🤝 新方法依赖专家判断与模型迭代,确保样本质量。 实验表明准度,使用少量高质量数据可达到甚至超越传统大量数据的效果。
- 最近发表
- 随机阅读
-
- 云计算核心技术Docker教程:Docker集群节点如何工作
- 标签: 软银 英伟达 孙正义 愿景基金
- 标签: 元戎启行 DeepSeek 阮翀 自动驾驶
- Google NotebookLM重磅升级:80种语言全面解锁,全球用户学习体验迎来革命性突破
- AI聊天机器人广告时代来临 创业公司Koah获500万美元押注AI广告变现
- 阿里通义Fun-ASR语音模型升级 垂直领域识别率跃升超15%
- 《网络交易平台规则监督管理办法》发布,平台不得大数据“杀熟”
- 标签: DeepSeek R1模型 AI搜索引擎 智能体
- 漏勺什么梗
- 标签: 奇安信 财报 研发投入 政府补助
- 标签: 云知声 U2-ASR2.5 山海·知音 方言ASR
- 阿里 Qwen-VL-30B-A3B 新模型发布 数学、视频处理性能获称更强
- 六个大数据采集工具架构分析
- Hbase集群挂掉的一次惊险经历
- 标签: 理想汽车 理想i6 理想L6 小红书
- 小红书上线全新 AI 办公应用 “hi”,助力高效协作
- 标签: 声网 Agora 财报 IoT
- 微软推出首批自主研发 AI 模型:挑战 OpenAI,赋能下一代 Copilot
- 微软正式推出首款自家 AI 图像生成器 MAI-Image-1
- GPT-5 Pro找回被遗忘的数学答案:埃尔德什问题#339早在2003年已被证明
- 搜索
-
- 友情链接