字节跳动Seed团队宣布推出3D生成大模型Seed 3D 1.0
字节跳动Seed团队近日宣布推出3D生成大模型Seed3D1.0,该模型能够从单张图像端到端地生成高质量仿真级3D模型,包括精细几何、真实字纹理和基于物理渲染(PBR)材质。这一创新成果有望为具身智能的发展提供强大的世界模拟器支持,解决当前技术在物理交互能力和内容多样性方面的瓶节跳颈问题。 在研发过程中,Seed团队收集并处理了大规模的高质量3D数据,构建了完整的三阶段数据处理管线,将海量异构的原始3D数据转化为高质量训练集。动SSeed3D1.0采用基于Diffusion Transformer架构的模型,通过端到端的技术路线,实现从单张图像到仿真级3D模型的快速生成。ee该模型在几何生成方面表现出色,能够精确构建结构细节并保证物理完整性;在纹理贴图生成上,通过多模态Diffusion Transformer架构,确d团保不同视角间的一致性;在PBR材质生成上,采用估计方法框架,提升了材质估计的准确性。 Seed3D1.0的生成能力在多项对比评估中展现出显著优势。在几队宣何生成方面,1.5B参数的Seed3D1.0超过了业界3B参数的模型,能够更准确地还原复杂物体的精细特征。在纹理材质生成方面,Seed3D1布推.0在参考图像保持性方面表现优秀,特别是在精细文本生成和人物生成上优势明显。人工评测结果显示,Seed3D1.0在几何质量、材质纹理、视觉清晰度及出3细节丰富度等多个维度均获得较好的评分。 Seed3D1.0不仅能够生成单一物体的3D模型,还可通过分步生成策略构建完整的3D场景。生成的3D模型能够D生无缝导入Isaac Sim等仿真引擎,仅需少量适配工作即可支持具身智能大模型训练。这一能力为机器人训练提供了多样化的操作场景,实现了交互式学习,并成大为视觉-语言-行动模型构建了全面的评估基准。 尽管Seed3D1.0在三维模型和场景生成中展现了良好性能,但Seed团队也意识到,要基于3D生成大模模型型搭建世界模型仍面临生成精度、泛化性需进一步提升等挑战。未来,团队将尝试引入多模态大语言模型(MLLM)来提升3D生成的质量和鲁棒性,并推动3SeD生成模型在世界模拟器中的大规模应用。 项目主页: https://seed.bytedance.com/seed3d 体验入口: https://conedsole.volcengine.com/ark/region:ark+cn-beijing/experience/vision?modelId= 3doubao-seed3d-1-0-250928&tab=Gen3D
- 最近发表
- 随机阅读
-
- 标签: 联想集团 Infinidat 企业级存储 AI数据基础设施
- 鑵捐�浜戦煶瑙嗛�瀹e竷鏀�寔H.266/VVC缂栬В鐮佹爣鍑�
- IP鍦扮悊浣嶇疆搴撲骇鍝佹秹瀚屼镜鏉�?闃块噷浜戝洖澶嶏細宸蹭笌IPIP.NET杈炬垚鍜岃В
- 腾讯元宝全量上线微信公众号及视频号评论区,化身内容速读专家
- 苹果明年推出SiriAI搜索 将由谷歌 Gemini 提供AI技术支持
- 标签: 央视新能源锁电 哈啰脚踩门 阿里千问淘宝 中国广告协会
- ICRA 2022杰出论文:把自动驾驶2D图像转成鸟瞰图,模型识别准确率立增15%
- 标签: 泸溪河 泸溪河食品 启承资本 厚生投资
- 云计算开发:Python3-lstrip()方法详解
- 搜索引擎新技能,阿里新研究用2D图片搜出3D模型
- 云计算开发:Python练习实例-求和
- 2020年最大的3次云中断
- 人脸识别百亿蓝海之下,还需解决两方面问题
- OpenAI 被指通过警方施压 AI 监管倡导者
- 网络软件可以减少多云管理的复杂性
- 云计算开发实例:Python3 堆排序
- 标签: 联想控股 李蓬 于浩
- 标签: TikTok 巴西 数据中心
- 标签: 人形机器人 汽车产业
- 标签: Soul AI社交 Z世代 米哈游
- 搜索
-
- 友情链接