图生3D新SOTA！港中文&字节&清华联合提出Hi3DGen ：通过法线桥接从图像生成高保真 3D 几何图形。

香港中文大学联合字节跳动和清华大学提出Hi3DGen，这是一个通过法线桥接从图像生成高保真三维几何体的全新框架。Hi3DGen 由图像到法线估计器、法线到几何学习方法以及三维数据合成流程三个关键组件组成。可以生成高保真的丰富几何细节，为从图像生成高保真 3D 几何图形提供了新的方向。

相关链接、

• 论文：https://stable-x.github.io/Hi3DGen/hi3dgen_paper.pdf
• 主页：https://stable-x.github.io/Hi3DGen/
• 代码：https://github.com/Stable-X/Hi3DGen
• 试用：https://huggingface.co/spaces/Stable-X/Hi3DGen
  

论文介绍

Hi👋3DGen：通过法线桥接从图像生成高保真 3D 几何体

随着从二维图像构建高保真三维模型的需求日益增长，现有方法由于域间隙的限制以及 RGB 图像固有的模糊性，在精确再现细粒度几何细节方面仍然面临巨大挑战。为了解决这些问题，作者提出了 Hi3DGen，这是一个通过法线桥接从图像生成高保真三维几何体的全新框架。Hi3DGen 由三个关键组件组成：

1. 图像到法线估计器，通过噪声注入和双流训练将低高频图像模式解耦，以实现可泛化、稳定且精准的估计；
2. 法线到几何学习方法，利用法线正则化的潜在扩散学习来增强三维几何体生成的保真度；
3. 三维数据合成流程，构建高质量数据集以支持训练。

大量实验证明了该框架在生成丰富几何细节方面的有效性和优越性，在保真度方面超越了最先进的方法。Hi3DGen工作利用法线贴图作为中间表示，为从图像生成高保真 3D 几何图形提供了新的方向。

方法

第一阶段：图像到法线估计。

左图：噪声注入回归法线估计（NiRNE）示意图；右图：实域数据中高频区域的噪声标签。

第二阶段：法线到几何体的生成。

正则化潜在扩散（ NoRLD ）的示意图。

所提出的DetailVerse数据集的构建流程，该数据集包含高质量的合成 3D 素材，用于支持 Hi3DGen 的训练。该流程包含三个步骤：文本提示收集、图像生成和 3D 素材合成。

结果展示

定性比较

图像到 3D 生成结果

与其他方法的比较

更多结果

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～