单张照片生成可任意调光3D头像。该方法通过两阶段训练，先利用多视角数据重建头像，再映射为可调光参数，无需复杂光照采集，实现高质量重光照与新视角合成。
点击下方名片关注AIGC Studio公众号！获取最新AI前沿应用/AIGC实践教程！
ETH联合迪士尼提出了一种通用的可重光照3D高斯头像模型RelightAnyone，该方法在有限的多视角 OLAT 人脸数据集和更大的多视角平面光照人脸数据集上进行了训练。无需专业设备，仅凭单张普通照片或多张多角度照片，就能重建出支持任意光照调整的3D数字人头像，还能生成全新视角，彻底打破了"光照绑定场景"的限制。
相关链接
论文：https://arxiv.org/pdf/2601.03357
介绍
3D 高斯散射 (3DGS) 已成为重建和渲染逼真 3D 头部模型的标准方法。一个主要挑战是如何重新调整模型的光照以匹配任何场景的光照。为了实现高质量的重新光照，现有方法要求在复杂的时分复用光照（例如单光源逐次光照 (OLAT)）下拍摄对象。
论文提出了一种新的通用可重新光照 3D 高斯头部模型，该模型可以重新调整在单视图或多视图图像中观察到的任何对象的光照，而无需该对象的 OLAT 数据。核心思想是学习从平面光照的 3DGS 模型到该模型对应的可重新光照高斯参数的映射。模型包含两个阶段：第一阶段对不使用 OLAT 光照的平面光照 3DGS 模型进行建模，第二阶段学习到基于物理的反射率参数的映射，以实现高质量的重新光照。这种两阶段设计使我们能够利用现有的各种多视角数据集训练第一阶段，而无需使用OLAT光照，从而确保跨对象泛化能力。在这一阶段，学习一个特定于数据集的光照编码，用于自监督的光照对齐。随后，第二阶段可以在一个规模小得多的、使用OLAT光照拍摄的受试者数据集上进行训练。这样该方法就能很好地泛化，并能像在OLAT光照下拍摄一样，对第一阶段中的任何受试者进行重新光照。
此外只需一张图像即可将模型拟合到未见过的受试者，这使得该模型能够应用于多种场景，例如新视角合成和数字虚拟形象的重新光照。
方法概述
RelightAnyone 的流程：首先训练一个第一阶段网络。该网络给定一个学习到的主体身份代码和一个学习到的光照代码（用于区分不同数据集的不同光照条件），预测一个处于完全光照下的高斯化身，其中高斯图元的参数编码在 UV 纹理贴图中。然后，第二阶段的重光照网络将第一阶段生成的完全光照下的高斯参数纹理映射到 RGCA 参数，从而实现对化身的重光照。
RelightAnyone包含以下关键组件：
两阶段管道：
第一阶段：建模平光照的3D高斯点云（3DGS）头像，无需逐一光源（OLAT）照明。该阶段在多样化的现有多视角数据集上进行训练。 第二阶段：学习将平光照的3DGS头像映射到可重光照的高斯参数，从而在不同照明条件下实现高质量的重光照。
自监督光照对齐：引入可学习的数据集特定光照编码，以对齐不同数据集之间的光照差异，增强模型的泛化能力。 拟合方法：允许模型使用最少的输入数据（如单张图像）进行新对象的拟合，从而便于创建高质量的可重光照3D头像。 跨身份泛化：该方法旨在在不同主体身份之间良好泛化，利用现有的平光照人脸数据集进行训练。 高质量渲染：该框架能够在任意照明条件下渲染头像，无需复杂的数据采集过程。 总体而言，这些贡献集中在高效的头像创建和重光照上，最小化了以往方法的劳动密集型要求，同时确保了广泛的适用性。
实验结果
重建和重新光照示例来自多视角图像（第 1-5 行）和自然场景下的单张图像（第 6-7 行）。从上到下，前两个对象来自 D2；对象 3 来自 D3；对象 4 和 5 来自 D4；对象 6 和 7 为自然场景下的自拍图像。
提出的方法可以在第一阶段（"重建"列）精确重建出细节丰富且多视角稳定的高斯化身，该化身可以在第二阶段使用任意环境贴图进行重新光照，即使在强烈的户外光照条件下也能正常工作。图像放大后效果最佳。与基于 3D GAN 的重光照方法对比的示例，在 D1 测试对象上提出的方法如何最接近真实光照条件并保留了最多的细节。
与基于二维扩散的方法相比，IC-Light 在旋转环境贴图下对虚拟角色进行重新照明时，会使用以下方法：IC-Light 基于背景重新照明图像，但无法匹配主光源。DiffusionRenderer 估计出的皮肤材质扩散过度。
结论
RelightAnyone是一个用于 3DGS 头部虚拟形象重建和重新光照的新模型。与以往的方法不同，该方法基于多个现有多视角人脸数据集的统一。新颖的两阶段设计允许我们首先在不包含 OLAT 光照的数据集上训练一个平面光照高斯重建阶段，随后训练一个映射网络，该网络学习推断平面光照虚拟形象的物理可重新光照参数，这些参数是在经过大量时分复用 OLAT 数据训练后得到的。
这得益于跨数据集的自监督光照对齐策略。然而模型仍然存在一些局限性。首先，它在头发重建和重新光照方面存在困难，这主要是由于跟踪的头发几何形状不准确以及难以建立可靠的头发 UV 对应关系。未来的工作可以考虑像中那样，为头发和面部分别建立单独的模型。其次模型目前仅针对中性表情进行训练。将其扩展到动态表演并捕捉表情相关的外观特征，需要更大的数据集，其中包含在 OLAT和全光照条件下捕捉到的各种表情。尽管如此，论文提出了一种强大的模型，该模型仅需一张自然环境下拍摄的图像，即可拟合到未见过的受试者和未见过的环境，并且其性能优于以往最先进的方法。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论