LuminaBrush 在图像上绘制照明效果的构建交互式工具。

 

LuminaBrush

LuminaBrush 是一个构建交互式工具以在图像上绘制照明效果的项目。该框架采用两阶段方法：第一阶段将图像转换为"均匀照明"的外观，第二阶段利用用户涂鸦生成照明效果。

相关链接

HF 演示：https://huggingface.co/spaces/lllyasviel/LuminaBrush

GitHub：https://github.com/lllyasviel/LuminaBrush

演示

LuminaBrush 目前基于 Flux。

种子为 12345 的示例：

框架

LuminaBrush 是一个两阶段框架。第一阶段（左侧）将图像转换为"均匀照明"的外观（例如，由均匀分布的白色环境光源照亮的外观）；第二阶段（右侧）在用户涂鸦的指导下为这些"均匀照明"的外观生成照明效果。

将照明绘制问题分解为两个阶段使学习变得更容易、更直接——否则（例如，如果只使用一个阶段）可能需要考虑外部约束/规定（如光传输一致性等）来稳定模型行为。

我们首先收集一组相对较小的、光照相对均匀的图像 - 例如这些：

（然后我们还使用在此集合上训练的 Flux LoRA 生成的图像来扩展此集合）

使用这些"均匀照明"的图像作为中间表示具有一些优势，例如避免 3D 反照率中网格边界过于锐利或表面过于平坦。而且这些图像的细节足以处理皮肤纹理细节、头发、毛发等。

然后，我们合成随机法线来随机重新照亮那些"均匀照明"的图像，以训练一个可以从任何输入图像中提取"均匀照明"外观的模型。

之后，我们从数百万张高质量的野生图像中提取"均匀照明"的外观，构建配对数据来训练最终的交互式照明绘制模型。

这种方法的一个明显的副产品是应用程序可以独立使用"均匀照明的舞台"来"愉悦"图像 - 我们还为想要使用它的人构建了一个 HF 空间：

https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit

 

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～