添加微信号：AIGC_Tech，公众号小助手会拉你进群！点击下方名片关注AIGC Studio公众号！
点击下方名片关注AIGC Studio公众号！获取最新AI前沿应用/AIGC实践教程！
TRELLIS.2是一款先进的大型 3D 生成模型（40 亿参数），专为高保真图像到 3D 的生成而设计。它利用一种名为O-Voxel 的新型"无场"稀疏体素结构来重建和生成具有复杂拓扑结构、清晰特征和完整 PBR 材质的任意 3D 模型。
这是一个开源的4B 参数图像到 3D 模型，可生成多达 1536³ 个 PBR 纹理资产，基于原生 3D VAE ，具有16 倍空间压缩，可实现高效、可扩展、高保真资产生成。
特点
高质量、高分辨率和高效率 4B 参数模型使用普通的 DiT 即可生成高分辨率、高保真度、高效率的全纹理资产。它采用稀疏 3D VAE，并结合 16 倍空间下采样，将资产编码到紧凑的潜在空间中。
任意拓扑结构处理 O -Voxel表示法突破了等值面场的限制。它能够稳健地处理复杂结构，而无需进行有损转换：
裸露表面（例如，衣物、树叶） 非流形几何 内部封闭结构
丰富的纹理建模 除了基本颜色外，TRELLIS.2 还对任意表面属性进行建模，包括基础颜色、粗糙度、金属度和不透明度，从而实现逼真的渲染和透明度支持。
极简主义处理 数据处理经过简化，可实现即时转换，完全无需渲染和优化。
< 10 秒（单核 CPU）：纹理网格 → O 体素 < 100毫秒（CUDA）：O体素 → 纹理网格
相关链接
代码：https://github.com/microsoft/TRELLIS.2 论文：https://arxiv.org/pdf/2512.14692 试用：https://huggingface.co/spaces/microsoft/TRELLIS.2
方法概述
T RELLIS .2的流程始于即时双向转换，它将网格转换为我们称为 O-Voxel的新表示形式。 然后，稀疏压缩 VAE 将这些体素编码为紧凑的结构化潜在空间。
O-Voxel：全体素表示法 O-Voxel 是一种新型的"无场"稀疏体素结构，旨在同时编码精确的几何形状和复杂的外观。SC-VAE：稀疏压缩 VAE，论文引入了一种稀疏压缩 3D VAE，采用稀疏残差自编码方案直接压缩体素数据。它将完全纹理化的 3D 资产编码成高度紧凑的表示形式，感知劣化可以忽略不计，从而实现高效的大规模生成建模。
实验结果
结论
提出了一种用于学习全面而紧凑的结构化三维潜在表示的方法，用于三维生成。一项关键创新是 O-Voxel，一种能够编码复杂几何形状和材质的全体素表示。还引入了一种稀疏压缩变分自编码器 (VAE)，它能够对 O-Voxel 进行高空间压缩，从而构建潜在空间。大型流匹配模型在保持高效率的同时，显著提升了生成质量，优于现有方法。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论