用Transformer进行图像语义分割,性能超最先进的卷积方法
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 正如大家所知,在进行图像语义分割时,图像被编码成一系列补丁后往往很模糊,需要借助上下文信息才能被正确分割。 因此上下文建模用T对图像语义分割的性能至关重要! 而与以往基于卷积网络的方法不同,来自法国的一个研究团队另辟蹊径,提出了一种只使用Transformer的语义分割方法。 该方法“效果拔群”,可以很好地捕捉图像全局上下文信息! 要知道,就连取得了ra骄人成绩的FCN(完全卷积网络)都有“图像全局信息访问限制”的问题。(卷积结构在图像语义分割方面目前有无法打破的局限) 而这次这个方法在具有挑战性的ADE20K数据集上,性能都超过了最先进的卷积方法! 不得不说,Transfnsormer跨界计算机视觉领域真是越来越频繁了、效果也越来越成功了! 那这次表现优异的Transformer语义分割,用了什么不一样的“配方”吗? 使用Vision Transformer 没错,这次这个最终被命名为Segmenter的fo语义分割模型,主要基于去年10月份才诞生的一个用于计算机视觉领域的“新秀”Transformer:Vision Transformer,简称ViT。 ViT有多“秀”呢? ViT采用纯Transformer架构,将图像分成多个patrmches进行输入,在很多图像分类任务中表现都不输最先进的卷积网络。 缺点就是在训练数据集较小时,性能不是很好。 Segmenter作为一个纯Transformer的编码-解码架构,利用了模型每一层的全局图像上下文。 基于最新的VeriT研究成果,将图像分割成块(patches),并将它们映射为一个线性嵌入序列,用编码器进行编码。再由Mask Transformer将编码器和类嵌入的输出进行解码,上采样后应用Argmax给每个像素一一分好类,输出最终的像进行素分割图。 下面是该模型的架构示意图: 解码阶段采用了联合处理图像块和类嵌入的简单方法,解码器Mask Transformer可以通过用对象嵌入代替类嵌入来直接进行全景分割。 效果如何 多说无益,看看实际效果如何? 首先他们在ADE2图像0K数据集上比较不同Transformer变体,研究不同参数(正则化、模型大小、图像块大小、训练数据集大小,模型性能,不同的解码器等),全方面比较Segmenter与基于卷积的语义分割方法。 其中ADE20K数据集,包含具有挑战性语义的细粒度(fine-grained)标签场景,是最具挑战性的语义分割数据集之一。 下表是不同正则化方案的比较结果: 他们发现随机深度(Stochastic Depth)方案可独立提高性能,而dropout无论是单独还是与随机深分割度相结合,都会损耗性能。 不同图像块大小和不同transformer的性能比较发现: 增加图像块的大小会导致图像的表示更粗糙,但会产生处理速度更快的小序列。 减少图像块大小是一个强大的改进方式,不用引入任何参数!但需要在较长的序列上,性计算Attention,会增加计算时间和内存占用。 Segmenter在使用大型transformer模型或小规模图像块的情况下更优: (表中间是带有线性解码器的不同编码器,表底部是带有Mask Transformer作为解码器的不同编能超码器) 下图也显示了Segmenter的明显优势,其中Seg/16模型(图像块大小为16x16)在性能与准确性方面表现最好。 最后,我们再来看看Segmenter与SOTA的比较: 在最具挑战性的ADE20K数据集上,Segme最先nter两项指标均高于所有SOTA模型! (中间太长已省略) 在Cityscapes数据集上与大多数SOTA不相上下,只比性能最好的Panoptic-Deeplab低0.8。 在Pascal Context数据集上的表现也是如此。 剩进的余参数比较,大家有兴趣的可按需查看论文细节。 论文地址:
https://www.arxiv-vanity.com/papers/2105.05633/
- 最近发表
-
- 浜戣�绠楀紑鍙戯細Python鍐呯疆鍑芥暟-bool() 鍑芥暟璇﹁В
- 标签: 抖音 无人机坠箭 黑话暗语 野生动植物保护
- 标签: OpenAI GPT-5.1 ChatGPT Instant
- 顶尖 AI 研究者创办 Periodic Labs,成功融资 3 亿美元引发风险投资热潮
- 标签: Momenta 物理AI R7世界模型 Robotaxi
- 腾讯云多款核心产品降价最高降幅40% 助力AIGC开发者
- 苹果造车的对手应该是法拉利 瞄准豪华市场才是出路?
- 解锁云端秘境!全国首个AI“村游”地图落户贵州加榜梯田
- 标签: 华为 荣耀终端 邓斌 星际魅族
- 麻省理工学院推出可调节的生成 AI 工具,助力机器人虚拟训练
- 随机阅读
-
- 云计算核心技术Docker教程:docker-compose扩展配置
- 云计算核心技术Docker教程:Docker Swarm 模式控制服务在不同节点上的规模和位置
- 华人博士发127页长文:自然语言处理中图神经网络从入门到精通
- 快手发布KAT系列Agentic Coding大模型 代码表现出色
- 微软自定义神经语音技术已允许用户创建高度逼真、类似于人类的声音
- 标签: 美格智能 高算力智能模组 5G车载模组 无线通信模组
- 云计算开发:Python练习实例-斐波那契数列
- 云计算核心技术Docker教程:Docker Swarm 模式管理在 swarm 节点上安装插件
- 模型花费几十万刀,指导无数项目,才发现负样本用的是null?
- 云计算核心技术Docker教程:Docker使用Docker Engine API开发
- 云计算开发:Python3数学函数ceil()方法详解
- 苹果iPhone 12带充电器了!不过要去巴西买
- 标签: 普昂医疗 糖尿病护理 胰岛素笔针 医疗器械
- 标签: 腾讯控股 Hy3_preview 腾讯云 微信小店
- 云计算开发:Python3-List append()方法详解
- PaaS、IaaS、SaaS、Bass、Fass、无服务的理解与区别
- 阿斯麦出资13亿欧元,成为Mistral AI最大股东
- 标签: 康师傅
- OpenAI ChatGPT Go套餐全面进军亚洲!每月不到5美元
- 标签: 逐玉 腾讯视频 收视率造假 电视剧
- 搜索
-
- 友情链接