AI I024: 刚刚开源！1 张图片生成 3D 建模，太绝了。

2025年6月14日星期六

北京大学、字节跳动、卡内基梅隆大学联合炸场。

刚刚开源了3D建模 AI 神器：PartCrafter，使用 AI 重构 3D 建模的未来！

元宇宙、游戏开发、工业设计等领域一般都会用到三维建模。使用传统的建模软件，需要人工一点点雕琢，一个复杂模型往往需要数十小时的专业操作。

PartCrafter 的出现将打破这一局面：

PartCrafter 项目简介

PartCrafter 是一个基于组合式潜在扩散变换器的开源框架，专为生成高质量、结构化的 3D 网格而设计。

组合式潜在扩散变换器：Compositional Latent Diffusion Transformers

它通过 AI 模型理解部件间的几何关系，自动组合生成复杂物体（如机械零件、家具、建筑等），同时保留精准的拓扑结构和物理合理性。

输入一张图像，AI 模型就能生成 3D 零件级对象：

更牛的是 PartCrafter 具备零样本适应性，预训练模型支持对新部件类型的快速适配，无需重新训练即可扩展生成能力。

可以把 3D 建模直接导出 .obj/.stl 等通用 3D 格式，兼容 Blender、Unity 等主流工具链。

技术原理

PartCrafter 的核心创新在于双重建模架构：

① 部件级潜在空间：每个 3D 部件被编码为独立潜变量，通过变换器捕捉部件间的装配约束（如轴承必须与轴孔对齐）。

② 全局扩散调度器：协调各部件生成步骤，确保整体结构的连贯性，避免部件冲突或悬空。

这种设计使得生成的模型不仅外观逼真，更可直接用于 3D 打印、物理仿真等工业场景。实验数据显示，其生成速度比传统 GAN-based 方法快3倍，且网格错误率降低67%。

开启你的 AI 建模之旅

目前这个开源项目的推理脚本、训练代码、数据集、预训练checkpoint 还没有公布，预计 7 月 15 日前发布，可以蹲一波。

开发者收集了海量的数据，最终创建了一个包含 13 万个 3D 模型的超大数据库，其中 10 万个模型都由好几个部件组成，就像乐高积木一样，可以拆分成不同的部分。

为了保证这些 3D 模型的质量，对它们进行了严格的筛选。并且会关注：模型的纹理是否清晰漂亮、每个模型包含多少个部件以及这些部件拼接在一起是否精准。

经过筛选，我们得到了一个更精良的数据库，包含大约 5 万个带有部件标注的 3D 模型，以及 30 万个独立的部件。

另外，开发者后面会提供 HuggingFace🤗 直接用的能力。

期待一波吧。

都看到这了，关注下吧。

这个公众号历史发布过很多有趣的开源项目，如果你懒得翻文章一个个找，你直接关注微信公众号：逛逛 GitHub ，后台对话聊天就行了。