南加大\x26amp;Adobe重磅研究:一键换光+背景融合,视频也能\x26quot;光影自由\x26quot;了!
南加大&Adobe重磅研究:一键换光+背景融合,视频也能"光影自由"了!
南加州大学联合 Adobe 提出一个通用且一致的重光照和协调模型Comprehensive Relighting，它可以控制单个人体图像或视频中任意身体部位的光照属性。给定目标光照系数（例如球谐函数、背景场景或其组合，如图所示），模型可以执行一致且协调的重光照。
结果展示
肖像和半身场景
多人场景
相关链接
论文：https://arxiv.org/pdf/2504.03011 主页：https://junyingw.github.io/paper/relighting
论文介绍
本文介绍了一种名为"综合光照"的算法，这是首个能够控制和协调任意场景中人体图像或视频中任意身体部位光照的一体化方法。由于数据集的缺乏，构建这样一个可泛化的模型极具挑战性，现有的基于图像的光照模型仅限于特定场景（例如人脸或静态人体）。
为了应对这一挑战，论文将一个预训练的扩散模型重新用作通用图像先验，并在由粗到精的框架中联合建模人体光照和背景协调。为了进一步增强光照的时间一致性，引入了一个无监督的时间光照模型，该模型无需任何基础事实，即可从大量真实视频中学习光照周期的一致性。在推理阶段，时间光照模块通过时空特征融合算法与扩散模型相结合，无需额外训练；并且我们应用了一种新的引导式细化方法作为后处理，以保留输入图像中的高频细节。在实验中，综合重新照明表现出很强的通用性和照明时间连贯性，优于现有的基于图像的人工重新照明和协调方法。
静态图像重新照明和协调
论文引入了一种可推广的人体重新照明模型，该模型可以控制任意身体部位的人体图像或视频的照明，这些照明与所示的调节空间很好地协调。
方法概述
（a）给定具有粗糙照明和背景图像的人体输入图像，扩散模型生成与背景场景协调的重新照明图像。（b）外部时间模块从许多真实世界视频中学习时间周期一致性以构建时间照明特征。（c）在推理时间中将照明和时间模块的特征在空间和时间上融合在一起，以实现连贯且可推广的人体重新照明。
实验结果
与 RHW 在 Pexels 真实图像上的比较。插图显示了光照控制变量。虽然 RHW 对全身图像产生了合理的补光效果，但在半身和多人情况下，其质量会下降。
与 Pexels 真实图像上的 GFR 进行比较。照明控制变量如插图所示。GFR 的通用性有限，导致半身和多人场景的输出质量下降。
结论
论文提出了一种综合光照重现方法，该方法适用于单目人体光照重现和协调，且具有通用性。利用预训练扩散模型中大量通用的先验图像，解决了核心数据集挑战；并重新利用了专用于时间一致性图像重现的模型。为了实现光照的一致性控制，论文引入了一个由粗到精的光照重现框架；并将其与一个外部时间光照模块相结合，该模块可以学习大量真实视频。论文的引导式细化网络增强了视觉效果，保留了原始图像的精细细节。在实验中，该方法在质量和时间一致性方面优于其他基于图像的重现和协调模型。
论文引入了"综合重光照"模型，这是一个通用且一致的重光照和协调模型，它可以控制单个人体图像或视频中任意身体部位的光照属性。给定目标光照系数（例如球谐函数、背景场景或其组合，如图所示），模型可以执行一致且协调的重光照。
相关链接
论文：https://arxiv.org/pdf/2504.03011 主页：https://junyingw.github.io/paper/relighting
论文介绍
本文介绍了一种名为"综合光照"的算法，这是首个能够控制和协调任意场景中人体图像或视频中任意身体部位光照的一体化方法。由于数据集的缺乏，构建这样一个可泛化的模型极具挑战性，现有的基于图像的光照模型仅限于特定场景（例如人脸或静态人体）。
为了应对这一挑战，论文将一个预训练的扩散模型重新用作通用图像先验，并在由粗到精的框架中联合建模人体光照和背景协调。为了进一步增强光照的时间一致性，引入了一个无监督的时间光照模型，该模型无需任何基础事实，即可从大量真实视频中学习光照周期的一致性。在推理阶段，时间光照模块通过时空特征融合算法与扩散模型相结合，无需额外训练；并且我们应用了一种新的引导式细化方法作为后处理，以保留输入图像中的高频细节。在实验中，综合重新照明表现出很强的通用性和照明时间连贯性，优于现有的基于图像的人工重新照明和协调方法。
静态图像重新照明和协调
论文引入了一种可推广的人体重新照明模型，该模型可以控制任意身体部位的人体图像或视频的照明，这些照明与所示的调节空间很好地协调。
方法概述
（a）给定具有粗糙照明和背景图像的人体输入图像，扩散模型生成与背景场景协调的重新照明图像。（b）外部时间模块从许多真实世界视频中学习时间周期一致性以构建时间照明特征。（c）在推理时间中将照明和时间模块的特征在空间和时间上融合在一起，以实现连贯且可推广的人体重新照明。
实验结果
与 RHW 在 Pexels 真实图像上的比较。插图显示了光照控制变量。虽然 RHW 对全身图像产生了合理的补光效果，但在半身和多人情况下，其质量会下降。
与 Pexels 真实图像上的 GFR 进行比较。照明控制变量如插图所示。GFR 的通用性有限，导致半身和多人场景的输出质量下降。
结论
论文提出了一种综合光照重现方法，该方法适用于单目人体光照重现和协调，且具有通用性。利用预训练扩散模型中大量通用的先验图像，解决了核心数据集挑战；并重新利用了专用于时间一致性图像重现的模型。为了实现光照的一致性控制，论文引入了一个由粗到精的光照重现框架；并将其与一个外部时间光照模块相结合，该模块可以学习大量真实视频。论文的引导式细化网络增强了视觉效果，保留了原始图像的精细细节。在实验中，该方法在质量和时间一致性方面优于其他基于图像的重现和协调模型。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
没有评论:
发表评论