NeurIPS 2024 I SHMT：通过潜在扩散模型进行自监督分层化妆转移（阿里&武汉理工）

当前的妆容转移技术面临两个主要挑战：

1. 缺乏成对数据，导致模型训练依赖于低质量的伪配对数据，从而影响妆容的真实感；
2. 不同妆容风格对面部的影响各异，现有方法难以有效处理这种多样性。

今天给大家介绍的方法是由阿里联合武汉理工等提出的自监督层次化妆转移方法（SHMT），可以将多样化的妆容风格自然且精准地应用于给定的面部图像。SHMT通过采用"解耦与重构"的自监督学习策略，避免了伪配对数据的误导。同时，SHMT利用拉普拉斯金字塔分解层次化的纹理细节，灵活控制妆容风格的保留与舍弃。除了颜色匹配之外，该方法还可以灵活控制保留或丢弃各种化妆风格的纹理细节，而不会改变脸型。

unsetunset相关链接unsetunset

• 论文：http://arxiv.org/abs/2412.11058v1
• 主页：https://github.com/Snowfallingplum/SHMT

unsetunset论文介绍unsetunset

unsetunset摘要unsetunset

本文研究了化妆迁移这一具有挑战性的任务，旨在将各种化妆风格精确而自然地应用于给定的面部图像。由于缺乏配对数据，当前的方法通常合成次优的伪基本事实来指导模型训练，导致化妆保真度低。此外，不同的化妆风格通常对人脸有不同的影响，但现有的方法很难处理这种多样性。为了解决这些问题，我们提出了一种通过潜在扩散模型的新型自监督分层化妆迁移 (SHMT) 方法。遵循"解耦和重建"范式，SHMT 以自监督的方式工作，摆脱了不精确的伪配对数据的误导。此外，为了适应各种化妆风格，通过拉普拉斯金字塔分解分层纹理细节并有选择地引入内容表示。最后，我们设计了一个新颖的迭代双重对齐 (IDA) 模块，该模块可以动态调整扩散模型的注入条件，从而纠正由内容和化妆表示之间的域差距引起的对齐误差。广泛的定量和定性分析证明了我们方法的有效性。

unsetunset方法unsetunset

SHMT 的框架。面部图像 I 被分解为背景区域 Ibg、化妆表示 Im 和内容表示 (I3d, hi)。通过从这些组件重建原始图像来模拟化妆传输过程。构建了分层纹理细节 hi 以响应不同的化妆风格。在每个去噪步骤 t 中，IDA 利用嘈杂的中间结果 ˆIt 来动态调整注入条件以纠正对齐错误。

unsetunset结果unsetunset

在简单的化妆风格上与基于 GAN 的基线进行定性比较。

与基于gan的复杂妆容基线的定性比较。

简单妆容与稳定妆容基线的定性比较

与稳定妆容基线在复杂妆容上的定性比较。

unsetunset结论unsetunset

本文提出了一种自监督分层妆容迁移 (SHMT) 方法。该方法采用自监督策略进行模型训练，摆脱了以前方法中伪配对数据的误导。得益于分层纹理细节，SHMT 可以灵活控制纹理细节的保留或丢弃，使其能够适应各种妆容风格。此外，所提出的 IDA 模块能够有效地纠正对齐错误，从而提高妆容保真度。定量和定性分析都证明了我们的 SHMT 方法的有效性。

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～