Google机器臂能抓手帕了,软的硬的都能抓!ICRA 2021已接收
目前机器人相关研究主要是设计机械臂来抓住特定形状的物体,但是很少有抓住可变形状物体(deformable objects)的相关研究。 在变形物体操作中的一个难点是无法知道这个物体内部的参数,例如,对于一个刚性立方体,知道一个固定点相对于其中心的位Go置足以描述它在三维空间中的形状,但是对一个柔软的物体如丝绸来说,布面上的一个点可以在其他部分移动时保持固定。 这使得感知算法难以描述织物的完整「状态」,特别是在遮挡的情况下。 此外,即使有一个被充分描述的可变形物体,其动力学也是复杂的。这使得在对可变形物体进行某种操作之后og,很难预测其未来的状态,通常需要多步(multi-step)规划来达到目标状态。 在 ICRA 2021会议上,Google 发布了一个名为 deformaleravens 的开源模拟基准,对可变形物体操作的研究有极大促进作用。 论文中共设计了12个任务,包括操作电缆、织物和包,还包括一le系列模型架构,用于操纵可变形物体,使其达到预期的目标状态。 这些模型架构也能够让机器人重新排列电线来达到目标状态,平滑地使非钢体如织物达到指定形状,或是将物品放入袋子中。 这是第一个包含特定任务的模拟器,在这个任务中机器人必须使用一个袋子来容纳其他物品,这对机器人学习更复机器杂的相对空间关系提出了关键的挑战。 DeformableRavens 基准数据集 Deformaleravens 扩展了之前Google对重排列对象(rearranging objects)的工作,包括一套12个模拟任务,覆盖一维、二维和三维可变形结构。每个任务都包含一个模拟的 UR5手臂能臂和一个用于捏握的模拟夹钳,并与脚本演示器捆绑在一起,自动收集用于模仿学习的数据。任务随机化分布中项的起始状态,以测试不同对象配置的一般性。 UR5 是一款轻量级、可适应的协作式工业机器人,具有极高的灵活性,可处理中型应用程序。UR5e 的设计是为了无缝集成到广泛的应用程序。UR5抓手e 也提供 OEM 机器人系统,并带有三向示教器(3-position teach pendant)。 为操作任务指定目标对于可变形物体尤其具有挑战性。考虑到它们复杂的动力学和高维配置空间,目标不能像一组刚性物体姿势那样容易确定,并且可能涉及复杂的相对空间关系,比如“将物品放入袋帕了子”。 因此,除了通过分发脚本示范定义的任务之外,我们的基准还包含由目标映像指定的目标条件化任务。对于受目标限制的任务,给定的对象起始配置必须与一个单独的image配对,该映像显示相同对象的所需配置。这种特殊情况的成功取决于机器人是否能够使当前的配置足够接近目标图像中传,软达的配置。 Goal-Conditioned Transporter Networks 是一个为了补充模拟基准测试中的目标条件化任务,而将目标条件化集成到Google之前发布过的 Transporter Network 架构中,这是一个以行动为中心的模型架构,它通过重新排列深层特征来从视的硬觉输入推断空间位移,很好地适用于刚性对象操作。 该体系结构以当前环境的图像和目标图像作为输入,计算这两个图像的深度视觉特征,然后利用元素乘法结合特征,对场景中的刚性和可变形物体进行相关处理。Transporter 网络结构的一个优点是它保留了视觉图像的空间结构,提供了归纳的都偏差,将基于图像的目标条件化为一个更简单的特征匹配问题,并利用卷积网络提高了学习效率。 一个涉及目标条件的实例任务如,为了将绿色块放入黄色袋子中,机器人需要学习空间特性,使其能够执行一系列多步骤的动作,以打开黄色袋子的顶部开口,然后将块放入其中。在它把方块放入黄色袋子之后,则成能抓功结束。如果在目标图像中块被放在蓝色袋子中,则需要把块放在蓝色袋子中。 结果表明,Goal-Conditioned Transporter Networks 使agent可以操纵变形结构到灵活指定的配置,而不需要测试时间的视觉锚目标位置。我们还通过在2D 和3D 变形体任务上进行测试,!I显著扩展了使用 Transporter Networks 操纵变形物体的先前成果。实验结果进一步表明,该方法比传统的基于地面真实位姿和顶点位置的方法具有更高的抽样效率。 例如所学习的策略可以有效地模拟装袋任务,还提供目标图像以便机器人必须推断应该将物品放入哪个袋子。 未来这项工作CR还有几个可扩展的目标,例如减少观察到的失败模式。例如当机器人拉袋子向上,并导致抓着的东西掉下去时,就失败了。 另一种情况是,机器人将物品放置在包的不规则外表面,导致物品脱落。未来的算法改进可能允许动作以更高的频率运行,这样机器人可以实时作出反应来抵消这些可能的失败情况。 另A 一个发展领域是使用不需要专家演示的技术来训练基于 Transporter network 的可变形物体操作模型,比如基于实例的控制或基于模型的强化学习。
-
上一篇
-
下一篇
- 最近发表
-
- 苹果 Siri 将迎来升级,依靠 Google Gemini 技术赋能
- 字节跳动公开关于云应用方面的新专利
- 标签: 荣耀 闪电 Lightning 人形机器人
- Rivian 再度推出新公司 Mind Robotics,聚焦工业 AI 与机器人技术
- 1亿行为数据,知乎、清华开放国内最大个性化推荐实际交互数据集
- AI公司Flock Safety 欲用智能摄像头消灭美国犯罪
- 仅头发丝1/200厚度!科学家搭建「纳米线网络」,触电像大脑运作
- 大数据明星Palantir获FDA4400万美元合同:股价大涨17%
- OpenAI CEO 亲自宣布!GPT-6 将更名为 “GPT-6-7”,背后竟藏着这些玄机!
- 搜索算法,一触即达:GitHub上有个规模最大的开源算法库
- 随机阅读
-
- 微软智能云:未来将以每年50至100个的速度新建数据中心
- 标签: 深蓝L06 小米Q3财报 Cloudflare故障 闲鱼循环店
- 木地板泡水了怎么处理
- 云计算核心技术Docker教程:Docker Hub授予团队访问存储库的权限
- 云计算开发:Python3-split()方法详解
- 苹果 AI 搜索部门负责人柯杨离职,转投 Meta Platforms
- 亚马逊设立新冠疫苗接种点 员工打两针奖励80美元
- 标签: 小红书 阿里 字节 腾讯
- 标签: 阿里巴巴 徐宏 周靖人 TokenFoundry
- 云计算开发:Python3 - capitalize()方法详解
- 软银以53.75亿美元收购 ABB 集团机器人业务,布局物理人工智能
- 标签: 正力新能 动力电池 磷酸铁锂 三元电池
- 研究表明人工智能软件市场规模2025年将达到370亿美元
- 零一万物大调整:李开复押注ToB,三位新高管上任加速商业化突围
- 云计算开发:Python内置函数-id()函数详解
- 云计算开发实例:Python3插入排序
- 标签: 华虹半导体 FAB9 电源管理 独立式闪存
- 亚马逊严重工伤率比同行高出八成 曾称要在2025年将工伤事故减少一半
- 标签: 中国银行 2025年报 跨境金融 全球托管银行
- 谷歌Pixel Buds震撼升级:AI手势控制引领耳机革命,130美元就能拥有降噪黑科技
- 搜索
-
- 友情链接