TripoSG ：一键使用AI在数秒内生成3D设计,支持文本/图像/涂鸦等多种方式，引领3D生成潮流！

TripoAI发布了最新3D生成模型 TripoSG，能够生成与输入图像精确对应的高保真 3D 形状样本。涵盖各种复杂结构、多样风格、富有想象力的设计、多对象组合以及细节丰富的输出，展现了其强大的生成能力。

主要特点总结如下：

• 高保真生成：生成具有清晰几何特征、精细表面细节和复杂结构的网格

• 语义一致性：生成的形状准确反映输入图像的语义和外观

• 强大的泛化能力：处理多种输入风格，包括逼真的图像、卡通和素描
• 稳健的性能：即使对于具有复杂拓扑的具有挑战性的输入，也能创建连贯的形状

TripoSG 模型生成的高质量 3D 形状样本。涵盖各种复杂结构、多样风格、富有想象力的设计、多对象组合以及细节丰富的输出，展现了其强大的生成能力。

相关链接

• 论文：https://arxiv.org/abs/2502.06608
• 代码：https://github.com/VAST-AI-Research/TripoSG
• 主页：https://yg256li.github.io/TripoSG-Page/
• Tripo3d官网：https://www.tripo3d.ai/
• 试用：https://huggingface.co/spaces/VAST-AI/TripoSG

论文介绍

TripoSG：使用大规模整流流模型进行高保真三维形状合成

扩散技术的最新进展将图像和视频生成质量推向了前所未有的水平，显著加速了生成式人工智能的部署和应用。然而，3D 形状生成技术迄今为止发展滞后，受到 3D 数据规模的限制、3D 数据处理的复杂性以及对 3D 领域先进技术的探索不足等因素制约。当前的 3D 形状生成方法在输出质量、泛化能力以及与输入条件的匹配方面面临着巨大挑战。我们提出了TripoSG，一种新的简化形状扩散范式，能够生成与输入图像精确对应的高保真 3D 网格。具体而言，我们提出：

1. 一种用于 3D 形状生成的大规模整流流变换器，通过在大量高质量数据上进行训练实现最佳保真度。
2. 一种结合 SDF、法线和艾科纳损失的混合监督训练策略，用于 3D VAE，实现高质量的 3D 重建性能。
3. 构建了一条数据处理流程，用于生成 200 万个高质量 3D 样本，凸显了数据质量和数量在训练 3D 生成模型中至关重要的规则。

通过全面的实验，我们验证了新框架中每个组件的有效性。这些组件的无缝集成使 TripoSG 在 3D 形状生成方面达到了最佳性能。由于其高分辨率能力，生成的 3D 形状展现出增强的细节，并展现出对输入图像的出色保真度。此外，TripoSG 在从各种图像风格和内容生成 3D 模型方面展现出更强大的通用性，展现出强大的泛化能力。

方法

方法概述包含两个主要部分：(i) 数据构建系统和 (ii) TripoSG 模型。

数据构建系统通过一系列数据处理步骤处理来自各种数据集（例如 Objaverse 和 ShapeNet）的 3D 模型，以创建训练数据。然后，我们的 TripoSG 模型在此精选数据集上进行训练，以便从单个输入图像生成高保真形状。

VAE管道

TripoSG 基于 Transformer 的 VAE 架构。上层为编码器，下层为解码器。

数据处理管道

TripoSG 数据构建系统演示。I：数据评分程序；II：数据筛选程序；III：数据修复和增强程序。IV：现场数据生成程序。

结果比较

在相同图像输入下，TripoSG 与其他先前最先进的方法的 3D 生成性能比较。

更多无纹理 3D 形状生成结果

TripoSG 生成的各种无纹理 3D 形状。每种形状的第一张图像是输入图像，其余四张图像是从生成模型渲染的多视图。

更多纹理 3D 形状生成结果

TripoSG 生成的各种纹理 3D 形状。每种情况下的第一张图像是输入图像，其余四张图像是从生成模型渲染的多视图。

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～