添加微信号:AIGC_Tech,公众号小助手会拉你进群!点击下方名片关注AIGC Studio公众号!
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
腾讯混元提出了一个新的 3D 部件生成流程,包含两个关键组件:
P3-SAM:原生3D零件分割 X-Part:高保真、结构一致的形状分解
整体网格被输入到部件检测模块 P3-SAM,以获取语义特征、部件分割和部件边界框。然后,X-Part 生成完整的部件。
效果展示
相关链接
P3-SAM:原生3D零件分割。
论文:https://arxiv.org/abs/2509.06784 代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part/tree/main/P3-SAM 项目:https://murcherful.github.io/P3-SAM 权重:https://huggingface.co/tencent/Hunyuan3D-Part 演示:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
X-Part:高保真、结构一致的形状分解
论文:https://arxiv.org/abs/2509.08643 代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part/tree/main/XPart 项目:https://yanxinhao.github.io/Projects/X-Part 权重:https://huggingface.co/tencent/Hunyuan3D-Part 演示:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
P3-SAM介绍
将 3D 资产分割成其组成部分对于增强 3D 理解、促进模型复用以及支持零件生成等各种应用至关重要。然而,当前方法面临诸多限制,例如在处理复杂物体时鲁棒性较差,且无法完全自动化该过程。本文提出了一种原生的 3D 点可提示零件分割模型 P3-SAM,旨在完全自动化地将任何 3D 物体分割成组件。受 SAM 的启发,P3-SAM 由一个特征提取器、多个分割头和一个 IoU 预测器组成,支持用户进行交互式分割。我们还提出了一种算法,用于自动选择和合并由模型预测的掩码以进行零件实例分割。我们的模型基于一个新建的数据集进行训练,该数据集包含近 370 万个具有合理分割标签的模型。对比结果表明,我们的方法在任何复杂物体上都能获得精确的分割结果和强大的鲁棒性,达到了最佳性能。我们的代码即将发布。
方法概述
P3-SAM 的网络架构: 输入点云被送入特征提取器以获得逐点特征。然后将特征、点提示和原始点云送入两阶段多掩模分割器,以获得三个不同尺度的掩模。最后,利用 IoU 预测器评估掩模的质量,并选择最佳掩模作为最终预测。
自动分割流程: FPS 采样点提示,经过 P3-SAM 处理,获取多个掩码。之后,采用非极大值抑制 (NMS) 合并冗余掩码。最后,将点级掩码投影到网格面上,获得零件分割结果。
实验结果
表3展示了PartObj-Tiny-WT和PartNetE的比较结果。 由于水密数据和点云缺乏连通性信息,PartField的性能不如非水密数据。这再次证明了我们的方法能够有效地学习物体的几何特征。我们还对我们的方法和之前的方法进行了定性比较,如图 4 所示。对各种数据集和任务的定量和定性比较,涉及非水密网格、水密网格和点云等不同数据形式,证明了我们方法的卓越有效性、稳健性和泛化能力,证实了其在各种条件下的卓越性能。
X-Part介绍
在零件级别生成 3D 形状对于网格重拓扑、UV 映射和 3D 打印等下游应用至关重要。然而,现有的基于零件的生成方法通常缺乏足够的可控性,并且语义分解能力较差。为此,我们引入了 -Part,这是一个可控的生成模型,旨在将整体 3D 对象分解为语义上有意义且结构一致的高几何保真度零件。-Part 利用边界框作为零件生成的提示,并注入逐点语义特征以实现有意义的分解。此外,我们设计了一个可编辑的交互式零件生成流程。大量实验结果表明,-Part 在零件级别形状生成方面达到了最佳性能。这项工作为创建可用于生产、可编辑且结构合理的 3D 资产建立了新的范例。代码将发布以供公众研究。
方法概述
给定输入点云,从 P3SAM 中提取每个点的特征和局部边界框。通过将几何标记与插值语义特征叠加,获得全局条件和局部条件。它们被注入到多部分扩散过程中,以指导形状分解。
应用
3D 零件非模态分割技术适用于多种下游应用,例如零件编辑、UV 展开等。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论