机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%
在机器人领域,让人工智能真正 “看懂” 三维世界一直是一个棘手的问题。传统的视觉语言模型(VLA)大多依赖机器于二维图像和文本数据训练,难以理解真实环境中的三维空间。然而,最近来自上海交通大学和剑桥大学的研究团队提人视出了一种名为 Evo-0的新型增强视觉语言动作模型,通过轻量化的方式注入3D 几何先验,使得机器人在复杂任务中觉大的空间理解能力得到了显著提升。 Evo-0模型的创新在于其利用视觉几何基础模型(VGGT),从多视角的 RG飞跃B 图像中提取出三维结构信息,并将这些信息与已有的视觉语言模型相结合。这种方法不仅避免了使用额外传感器或显式!新深度输入的需要,还显著提升了空间感知能力。在 RLBench 仿真实验中,Evo-0在五个需要精细操作的任务上,成功模型率比基线模型 pi0高出15%,并且在开放 VLA(openvla-oft)上提升了31%。 具体而言,Evo助力-0将 VGGT 作为空间编码器,引入了通过 VGGT 提取的 t3^D token,这些 token 包含了深度上下文和空间关 A系等几何信息。通过交叉注意力融合模块,模型能够将提取的二维视觉 token 与三维 token 进行有效结合,提升I 了对空间布局和物体关系的理解能力。这种方法在保证训练效率的同时,灵活性和部署便捷性也得到了提高。 在真实世“看界的实验中,Evo-0在处理复杂空间任务时表现出色,包括目标居中放置、插孔、密集抓取等任务,均超过了基线模型懂”,平均成功率提升了28.88%。特别是在对复杂空间关系的理解和操控能力方面,Evo-0展现出显著优势。 综上所述 三,Evo-0通过巧妙的空间信息融合,为未来的通用机器人策略提供了一条新的可行路径。该研究成果不仅在学术界引发了广维世泛关注,也为机器人领域的实际应用带来了新的可能性。 论文地址:https://arxiv.org/pdf界,/2507.00416
- 最近发表
- 随机阅读
-
- 苹果因夸大iPhone防水遭起诉 网友:敢宣传就要敢保修!
- 标签: 英飞凌 OptiMOS 7 MOSFET AI电源
- 苹果发布iPhone 17系列新品,AI功能缺失引发行业关注
- 谷歌推出 Fitbit 全新 AI 教练:基于 Gemini 模型,打造个性化健身健康伴侣
- 标签: 希迪智驾 无人驾驶矿卡 港股上市 年报
- AI爬虫“入侵”网络:Fastly 报告揭示,Meta、OpenAI 等巨头成主要流量来源
- 标签: 宇树科技 具身智能 人形机器人 科创板IPO
- 标签: 京东 A2P2协议 智能体支付 ARI机制
- 标签: 英特尔 罗金峰 绝密文件 法律诉讼
- 标签: 微软 Xbox AI基础设施 科技裁员
- 使用Tekton的云原生CI/CD
- 潮汕卤鹅是什么梗
- 中国AI三巨头入选《时代》周刊2025年度百强榜单
- xAI 发布 Grok4Fast,效率提升40%,基准测试表现不输 Grok4!
- 标签: 阿里巴巴 千问App 蚂蚁集团 AI+云
- 标签: 谷歌 TPU Ironwood Anthropic
- 云计算核心技术Docker教程:配置 Docker 以使用代理服务器
- 谷歌云重新实施销售佣金封顶:业务巨亏,员工却赚百万美元
- 标签: 豆包手机助手 AI操作手机 金融类应用限制
- Raycast发布Cursor Agent插件,AI编码更高效
- 搜索
-
- 友情链接