之前的文章中已经和大家介绍过ControlNet作者关于图像重打光的工作IC-light，这篇论文也是获得了I
之前的文章中已经和大家介绍过ControlNet作者关于图像重打光的工作IC-light，这篇论文也是获得了ICLR2025的满分评分，感兴趣的小伙伴可以点击下面链接阅读！
ICLR 2025满分论文，ControlNet作者新作IC-light，控制生成图像照明，代码模型已开源。
今天给大家介绍由上海人工智能实验室、复旦大学、上海交通大学、浙江大学、斯坦福大学和香港中文大学联合提出的关于视频重打光的工作RelightVid，通过将可训练的时间层策略性地插入到用于图像照明编辑的预训练扩散框架（IC-Light）中来增强视频重新照明，同时通过连接和照明交叉注意有效地集成背景视频、文本提示和 HDR 地图，实现灵活且时间一致的视频重新照明。
💡 亮点
🔥 RelightVid是一个灵活的框架，用于实现逼真且时间一致的视频重新照明，与现有基线相比具有出色的性能。 🔥 论文构建了LightAtlas ，这是一个具有真实世界和 3D 渲染照明对的大规模视频数据集，以提供丰富的照明先验。 🔥 通过结合时间层，该框架可确保强大的帧间一致性，同时在整个视频中保持高质量的重新照明。 🔥 RelightVid支持文本提示、背景视频和 HDR 地图等多种输入，可在各种视频场景中进行灵活且自适应的灯光操控。
相关链接
论文：https://arxiv.org/pdf/2501.16330 项目：https://aleafy.github.io/relightvid 代码：https://github.com/Aleafy/RelightVid 数据集：https://aleafy.github.io/RelightVid
论文介绍
文本调节的视频重新照明
RelightVid在不同的基于文本的照明提示下重新点亮相同的输入视频，提供细粒度和一致的场景编辑。
🔆 全场景重亮：前景和背景联合重亮，以匹配文本提示。
🎭 前景保留重新照明：根据提示，背景被修复，而只有前景被重新照亮。
背景调节视频重新照明
RelightVid执行 BG 条件重新照明，动态影响前景的照明以实现连贯和上下文感知的结果。
🎞️ 背景输入：第一行显示作为光照条件的不同背景视频。
💡 前景重新照明：以下几行显示在每个背景条件下自适应地重新照明的相同前景。
HDR 调节的视频重新照明
RelightVid 生成的视频利用动态HDR 调节照明，实现了物体光照随时间保持一致。第一行显示时间 HDR 环境图作为光照条件，第二行则显示每个相应 HDR 下的重新照明结果。
数据集管道
LightAtlas 数据管道概览。 我们定制的增强管道能够从自然界视频和 3D 渲染数据中生成高质量的视频重光照对。左侧部分使用自然界来源从原始视频中提取五种类型的增强数据。 右侧部分展示了在不同 HDR 地图和随机摄像机轨迹下生成的3D 渲染视频对 ，从而增强了重光照数据的多样性和真实感。
模型架构
RelightVid通过将可训练的时间层策略性地插入到用于图像照明编辑的预训练扩散框架（IC-Light）中来增强视频重新照明，同时通过连接和照明交叉注意有效地集成背景视频、文本提示和 HDR 地图，实现灵活且时间一致的视频重新照明。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
没有评论:
发表评论