刷新ImageNet最高分!谷歌大脑华人研究员发布超强Transformer
近日,谷歌大脑团队公布了Vision Transformer(ViT)进阶版ViT-G/14,参数高达20亿的CV模型,经过30亿张图片的训练,刷新了ImageNet上最高准确率记录——90.45%,此前的ViT取得的最高准确率记录刷新是 88.36%,不仅如此,ViT-G/14还超过之前谷歌提出的Meta Pseduo Labels模型。 Vision Transformer模型的缩放规律 在多项基准测试中,ImageNet, ImageNet-v2和VTAB-1k,ViT-G/Im14的表现都刷新了记录。 例如,在几张照片的识别挑战中,准确率提高了五个百分点以上。研究人员随后训练了多个更微型的模型版本,以寻找架构的缩放规律(scaling law),结果观察到性能遵循幂律函数(power-law function),类ag似于用于NLP的Transformer模型。 2017年由谷歌首次引入的 Transformer 架构迅速成为最受欢迎的NLP深度学习模型设计,其中 OpenAI的GPT-3是最著名的。OpenAI 去年发布的一项研究描述了这些模型的缩放规则(ScaeNling rules)。 OpenAI 通过训练几个不同规模的可比模型,改变训练数据的数量和处理能力,开发了一个用于评估模型准确性的幂律函数。此外,OpenAI 发现更大的模型不仅性能更好,而且计算效率也更高。 与 NLP 模型不同,大多数SOTA的et CV 深度学习模型,采用的是卷积神经网络架构(CNN)。2012年, 一个CNN模型赢得了ImageNet竞赛,CNN因此声名鹊起。 随着Transformer最近在 NLP 领域的成功,研究人员已经开始关注它在视觉问题上的表现; 例如,OpenAI 已最高经构建了一个基于 GPT-3的图像生成系统。 谷歌在这个领域一直非常活跃,在2020年年底使用他们专有的 JFT-300M 数据集训练了一个600m 参数的 ViT 模型。 △ 去年10月,谷歌大脑团队发布了Vi分!sion Transformer(ViT) 而新的ViT-G/14模型使用 JFT-3B 预先训练,JFT-3B是升级版数据集,包含大约30亿张图片。 研究团队改进了 ViT 架构,增加了内存使用,使模型能够适应单个 TPUv3谷歌核心。研究人员在预先训练的模型上使用少量和微调的迁移学习来评估 ViT-G/14和其他较小模型的性能。这些发现被用来创建缩放规则,类似于 NLP 规则: 根据幂律函数,缩放更多的计算、模型和数据可以提高准确性; 在较小的模型中,准确性可能是一大脑个障碍; 大型数据集有助于大型模型。 目前,ViT-G/14得分在 ImageNet 排行榜上排名第一。下面的八个得分最高的模型同样是由谷歌的研究人员创建的,而第十个模型来自Facebook。 作者团队 本次论文团队成员是此前发布ViT模型的4华人名成员,其中,第一作者是Xiaohua Zhai (翟晓华)。 https://sites.google.com/site/xzhai89/home 翟晓华目前是谷歌大脑研究员。研究领域为深度学习和计算机视觉。兴趣范围包括表征学习、迁移学习、自研究监督学习、生成模型、跨模态感知。 根据他的个人网站提供的信息,2009年,翟晓华本科毕业于南京大学,2014年取得北京大学计算机科学博士学位。 另外,论文作者Alexander Kolesnikov,同为谷歌大脑研究员,研究领域包括人工智能、机员发器学习、深度学习和计算机视觉。 毕业于奥地利Institute of Science and Technology Austria (IST Austria),博士论文为Weakly-Supervised Segmentation and Unsupervis布超ed Modeling of Natural Images(自然图像的弱监督分割和无监督建模)。 另一名作者Neil Houlsby,研究领域为机器学习、人工智能、计算机视觉和自然语言处理。 第四名作者Lucas Beyer,是一名自学成才的黑客、研究强T科学家,致力于帮助机器人了解世界、帮助人类了解深度学习。
- 最近发表
-
- 浜戣�绠楁牳蹇冩妧鏈疍ocker鏁欑▼锛欴ocker涓奅CS婊氬姩鏇存柊鍜屾煡鐪嬪簲鐢ㄧ▼搴忔棩蹇�
- OpenAI 推出 Sora2 API:颠覆视频生成的新工具
- 标签: Momenta 初速度科技 曹旭东 智能驾驶
- 云计算开发:Python练习实例-比较两个数的大小
- IDC:2022年上半年中国语音语义市场前三为科大讯飞、阿里云和百度智能云
- 春季招聘热潮:AI 工程师月薪达 20804 元,人才缺口持续扩大
- Facebook推出新功能:创作者可通过电商渠道赚钱
- 标签: 瑞发科 SerDes芯片 车规级芯片 华为哈勃
- 标签: 王者荣耀 和平精英 明日方舟:终末地 原神
- 标签: 鸿蒙智行 享界S9 尊界S800 水杯测试
- 随机阅读
-
- 标签: 腾讯 阳光腾讯 高压线 核娱游戏
- 标签: 新恒泰 IPO 发泡材料 北交所
- 亚马逊员工呼吁公司停止向Parler提供网络服务
- 亿万富翁丹・洛布减持台积电,转投另一家万亿人工智能公司
- 标签: 康迪科技 Rawrr 电动越野摩托车 北美市场
- 标签: 领克 极氪 小鹏 深蓝
- 昆仑万维AI视频产品SkyReels将于11月初上线全新版本
- 云计算开发:Python练习实例-两个矩阵相加
- 标签: 增程车 汽车
- 标签: MiniMax 闫俊杰 稀宇科技 AI大模型
- 亚马逊正开发交换芯片减轻对博通依赖:项目此前严格保密
- 标签: 吉利 李书福 青年创业 醇氢电动
- 标签: 大界机器人 RoBIM Physical AI 人形机器人
- Freepik 上线豆包 Seedream 4.0 图像模型,premium+会员可无限使用
- 谷歌Gemini 3.0 Pro内测流出:编程能力大跃进,下周即将上线
- 云计算核心技术Docker教程:Docker Compose指定compose配置文件
- 云计算核心技术Docker教程:Docker将配置与 Nginx 服务使用
- B 站开源文本转语音模型IndexTTS-2.0,情感与时长可控
- 参与国家“东数西算”工程,中国电信:将继续加大国家枢纽节点数据中心建设
- 学会这7个绘图工具包,Matplotlib可视化也没那么难
- 搜索
-
- 友情链接