谷歌大脑最新操作玩“复古”:不用卷积注意力,图像分类接近SOTA
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转谷歌载请联系出处。 谷歌大脑的视觉Transformer团队(ViT大脑),搞了个复古操作。 他们不用卷积神经网络(CNN)、也不用Transf最新ormer,仅凭最早的AI视觉任务采用的多层感知机(MLP)结构操作,就实现了接近SOTA的性能,更是在ImageNet图像分类任务上取得了玩“87.94%的准确率。 这个架构名为MLP-Mixer,采用两种不复古同类型的MLP层,可以看做是一个特殊的CNN,使用 1×1卷积进”:行通道混合(按位操作),同时全感受野和参数共享的的单通道深度卷不用积进行字符混合(跨位操作)。 在JFT-300M数据集上预训练、微调卷积到224分辨率的Mixer-H/14版本取得了86.32%的准确率,比注意SOTA模型ViT-H/14仅低0.3%,但运行速度是其2.2倍力,。 论文地址: 项目地址:
https://arxiv.org/abs/2105.016图像01
https://github.com/google-res分类earch/vision_transformer/tree/lin接近en
- 最近发表
- 随机阅读
-
- 如何快速搭建Kubernetes实验环境?
- 关于混合云成功 企业需要忘记的5件事和需要记住的4件事
- 阿里云与零一万物成立“产业大模型联合实验室” 深耕ToB市场
- 标签: 宋洋 Meta TikTok 快手
- 云计算开发:Python3数学函数ceil()方法详解
- 数据科学领域的顶级语言:Python 居首,SQL 次之
- 标签: 兰天集团 汤国华 汽车经销商 新能源汽车
- 人工智能究竟是如何在设计中使用的?
- 揭秘医疗公司Haven:亚马逊、摩根大通和巴菲特如何搞砸一家公司
- 游戏和直播需求强劲增长 腾讯将在日本建第三座数据中心
- 亚马逊工会投票结束:历史性一刻可能即将到来
- OpenAI Evals 新增原生音频评估功能,简化语音模型测试
- 标签: 三星电子 HBM 英伟达 苹果
- 澳大利亚起诉微软误导 Microsoft 365 用户关于 Copilot 订阅选项
- OpenAI 与 PayPal 合作,在 ChatGPT 中实现直接支付和商务购买
- 标签: 新茶饮
- Anthropic 推出新功能,Claude 为金融分析师提供强大工具
- 笔记本、AR眼镜、C919驾驶舱体验……搭载阿里云无影架构的新终端亮相
- 标签: DeepSeek 识图模式 ThinkingWithVisualPrimitives 多模态模型
- 云计算核心技术Docker教程:Docker使用Fluentd 日志驱动程序
- 搜索
-
- 友情链接