在 3D 内容生成领域，稀疏体素表示虽为高分辨率建模带来曙光，但现有框架却因两阶段扩散流程中注意力机制的二次复
在 3D 内容生成领域，稀疏体素表示虽为高分辨率建模带来曙光，但现有框架却因两阶段扩散流程中注意力机制的二次复杂度，陷入计算效率低下的困境。不过，南洋理工大学的研究团队带来了突破性成果！他们提出的 Ultra3D 高效 3D 生成框架，凭借创新方法打破僵局。利用紧凑 VecSet 表示加速第一阶段，引入 Part Attention 机制优化第二阶段，在不影响质量的前提下，实现显著加速，还支持 1024 分辨率生成，多项性能达到顶尖水平。
相关链接
论文：https://arxiv.org/pdf/2507.17745 项目：https://buaacyw.github.io/ultra3d/ 主页：https://hitem3d.ai/
论文介绍
稀疏体素表示的最新进展显著提升了 3D 内容生成的质量，使得基于细粒度几何的高分辨率建模成为可能。然而，现有框架的计算效率严重低下，这是由于其两阶段扩散流程中注意力机制的二次复杂度所致。
论文提出了 Ultra3D 是一个高效的 3D 生成框架，可在不影响质量的情况下显著加速稀疏体素建模。方法利用紧凑的 VecSet 表示在第一阶段高效地生成粗略的对象布局，从而减少 token 数量并加速体素坐标预测。为了在第二阶段优化每个体素的潜在特征，引入了 Part Attention，这是一种几何感知的局部注意力机制，它将注意力计算限制在语义一致的部分区域内。这种设计在保持结构连续性的同时避免了不必要的全局注意力，使潜在生成速度提升高达 6.7 倍。为了支持该机制，论文构建了一个可扩展的部分标注流程，将原始网格转换为带部分标注的稀疏体素。大量实验表明，Ultra3D 支持 1024 分辨率的高分辨率 3D 生成，并在视觉保真度和用户偏好方面均达到了最先进的性能。
方法概述
Ultra3D 框架概述。 Ultra3D是一个两阶段框架，首先通过 VecSet 生成稀疏体素布局，然后通过生成每个体素的潜在特征对其进行细化。Ultra3D 的核心是部件注意力机制 (Part Attention)，这是一种高效的局部注意力机制，可在每个部件组内独立执行注意力计算。此外，当输入条件为图像时，每个部件组仅与其体素标记所投影到的图像标记进行交叉注意力。
与其他方法的比较。 该方法实现了更高的保真度和更丰富的表面细节。如红色框所示，与其他方法相比，我们的结果与输入图像更加接近。
与其他方法比较
结论
为了解决基于稀疏体素的 3D 生成计算瓶颈问题，论文指出了传统两阶段流程的低效性，并提出了一种更具可扩展性的替代方案：首先使用 VecSet 生成粗网格，然后将其体素化为稀疏体素进行细化。为了进一步降低第二阶段全注意力机制的成本，引入了部件注意力机制 (Part Attention)——一种几何感知的注意力机制，将计算限制在语义一致的部件组中。这种设计在显著减少计算量的同时，保留了细节。为此， 论文构建了一个大规模、高效的部件标注流程，从而能够大规模地进行高质量的部件标注。通过大量的实验证明了框架 ULTRA3D 实现了最先进的视觉质量，并在训练和推理方面显著提升了效率，从而使高分辨率 3D 生成更加易于处理和实用。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
没有评论:
发表评论