由马萨诸塞大学阿默斯特分校、上海交通大学、卡内基梅隆大学以及麻省理工学院提出了一个开放词汇的3D可动对象建模框
由马萨诸塞大学阿默斯特分校、上海交通大学、卡内基梅隆大学以及麻省理工学院提出了一个开放词汇的3D可动对象建模框架 Articulate AnyMesh，能够以开放词汇的方式将任何刚性 3D 网格转换为具有结构语义与运动关节的可动对象。
结果展示
从手工制作的 3D 网格开始，用 Articulate AnyMesh 注释的可动对象。
Articulate AnyMesh 生成的可动对象，从生成的 3D 对象开始
打开笔记本电脑盖和提起水桶。
相关链接
论文：https://arxiv.org/pdf/2502.02590
主页：https://articulateanymesh.github.io/
代码：https://github.com/UMass-Embodied-AGI/Articulate-Anymesh
论文介绍
《Articulate AnyMesh：开放词汇的3D可动对象建模》
3D铰接式物体建模一直是一个具有挑战性的问题，因为它需要捕捉精确的表面几何形状以及语义上有意义且空间上精确的结构、部件和关节。现有方法严重依赖于有限的手工制作的铰接式物体类别（例如橱柜和抽屉）的训练数据，这限制了它们在开放词汇环境中建模各种铰接式物体的能力。
为了解决这些限制，论文提出了Articulate AnyMesh，这是一个自动化框架，能够以开放词汇的方式将任何刚性 3D 网格转换为其铰接式对应物。给定一个 3D 网格，框架利用先进的视觉语言模型和视觉提示技术来提取语义信息，从而既可以分割物体部件，又可以构建功能关节。
实验表明，Articulate AnyMesh可以生成大规模、高质量的 3D 铰接式物体，包括工具、玩具、机械设备和车辆，从而显著扩展现有 3D 铰接式物体数据集的覆盖范围。此外实验表明这些生成的资产可以促进在模拟中获取新的铰接式物体操作技能，然后可以将其转移到真实的机器人系统中。
方法概述
ARTICULATE ANYMESH 通过三个主要部分将各种来源的 3D 网格转换为高质量的铰接式物体：A. 可移动部件分割，B. 铰接式估计， C. 后处理。
流程可将任何网格转换为其对应的铰接网格，包括具有部件几何形状的手工网格、通过文本转3D或图像转3D方法生成的表面网格，以及基于真实物体重建的网格。该流程主要包含三个步骤，包括可动部件分割、铰接估计和后处理。具体而言，可动部件分割步骤采用PartSlip++ 提出的方法从输入网格中分割出可动部件。铰接估计步骤利用几何线索以及来自视觉和语言基础模型的先验知识，提取每个可动部件的铰接参数。可选的后处理阶段使用现成的3D形状补全模型和现成的纹理生成模型来增强几何形状和纹理。
实验结果
每个示例显示（从左到右）：Meshy 生成的原始表面网格、完成的几何体以及带纹理的物体，均在两种不同的姿势下渲染。
结论
ARTICULATE ANYMESH 是一个用于将开放词汇 3D 网格转换为其铰接式对应物这一关键任务的全新框架。首先基于部件级语义对 3D 对象进行分割，估计对象部件之间的铰接结构，然后细化几何形状和纹理以修复缺陷并提升视觉质量。通过利用视觉语言模型和视觉提示技术的进步，能够有效地分割部件并使用常见的几何线索估计铰接结构。该流程能够从生成的 3D 网格、手工制作的 3D 资源和重建网格中创建高质量的带纹理铰接式对象。生成的资源可以支持在模拟环境中学习铰接式对象的操控技能，并将其迁移到现实世界的机器人身上。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
没有评论:
发表评论