从视频片段中推断楼层平面图 新AI研究令人大开眼界
平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如,一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局,这样3D传感器和摄像机就可以捕捉到整个频片空间。 1月11日消息,据外媒报道,近日,来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学段中的研究人员正在探索一种人工智能技术,利用视觉和音频,从一个短视频剪辑中重建一个平面图。 研究人员断言推断,音频提供了空间和语义信号,补充了图像的映射能力。他们说,这是因为声音天生是由物体的几何形状所驱楼层动的。声音从表面反射回来,揭示了房间的形状,远远超出了相机的视野。从远处听到的声音,甚至是多个房间平面之外的声音,可以揭示自由空间的存在,声音物体可能存在。此外,从不同方向听到的声音暴露了基于这些图 声音所代表的活动或事物的布局。例如,淋浴的声音可能暗示着浴室的方向,而微波炉的声音则暗示着厨房的方向新A。 研究人员的方法被称为AV-Map,旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模I研型利用音频和视觉数据序列来推理楼层平面图的结构和语义,最终使用解码组件融合音频和视频信息。AV-Map生究令成的平面图大大超出了视频中直接可见的区域,显示了划分为离散语义房间标签(如家庭房间和厨房)的自由空间和被人大占用区域。 该团队在来自Matternet3D和SoundSpaces数据集的数字环境中试验了两种设开眼置,即主动和被动。在第一个实验中,使用一个虚拟摄像机在模型房屋的房间内移动时发出一种已知的声音。在第从视二种情况下,只依赖家中物体或人自然发出的声音。 研究人员表示,在未来的工作中,将计划考虑扩展多层平面频片图,并将绘图想法与机器人连接起来,主动控制摄像头。
- 最近发表
- 随机阅读
-
- Magic Leap 宣布与 Google 重新合作,共同开发下一代 AR 眼镜原型
- 标签: 字节跳动 抖音视界 小红书 社媒治理
- 鑻规灉锛氳懀浜嬩細瀹e竷娲惧彂姣忚偂0.22缇庡厓鐜伴噾鑲℃伅
- 标签: 雷军 小米汽车 安全理念 黑公关
- Mistral AI推Studio平台:欧盟合规+全栈可观测,企业级AI应用迎来“工业化”新引擎
- 美国司法部取消100亿美元JEDI合同:宣布新的云服务合同
- 谷歌预告Gemini for Home新进展 全新Nest设备即将亮相
- 标签: 豆包 春晚 火山引擎 宇树机器人
- 刷新科技前沿!InternLM推出8B参数的轻量级多模态推理模型
- 标签: 小米汽车 燕鲁新能源 韵蕾 小米SU7
- Anthropic2028年营收或达700亿美元,现金流碾压OpenAI
- 英国 NHS 医院将测试 AI 工具以改善前列腺癌诊断与治疗
- 标签: AI家居
- 标签: 天瞳威视 港交所 L4级 智能驾驶
- 受新冠疫情影响,亚马逊放宽对第三方卖家的送货速度要求
- 云计算核心技术Docker教程:Docker 配置日志驱动程序
- 美国会周五举行“谷歌FB垄断媒体业”听证会 微软加入“控诉”方
- 生活在边缘 做边缘计算的生意?
- 云计算开发:Python内置函数-zip()函数详解
- 标签: 谷歌 Lyria3Pro Gemini ProducerAI
- 搜索
-
- 友情链接