360 CV团队开源的FLUX-Makeup,基于单张人脸照片即可生成从淡妆到浓妆的多种风格妆容。核心采用解耦特征注入(RefLoRAInjector),无需额外面部控制模块,并配套5万+高质量配对妆容数据集(HQMT)。适合美妆爱好者、内容创作者快速出图,代码与模型已开源免费使用。
Tags:
今天给大家带来一个超实用的AI美妆项目——FLUX-Makeup。这个项目由360 CV团队推出,它能够基于单张人脸照片,智能生成各种风格的妆容效果,从日常淡妆到舞台浓妆,应有尽有!无论你是想尝试新造型,还是美妆从业者需要快速出图,FLUX-Makeup都能满足你的需求。
亮点功能
核心优势: FLUX-Makeup 仅使用"源 + 参考"输入(最自然的交互格式)即可提供高保真、一致且强大的妆容传输,而无需任何额外的面部控制模块。 数据引擎和 HQMT 数据集:开发了一个可扩展、可过滤和质量控制的数据生成管道,并整理了一个包含超过 50,000 个样本的高质量配对化妆数据集HQMT。 解耦特征注入:通过 RefLoRAInjector,定义了两组低秩投影,以实现精确提取与化妆相关的信息,同时有效防止身份崩溃和背景失真。
相关链接
论文:https://arxiv.org/abs/2508.05069 开源:https://github.com/360CVGroup/FLUX-Makeup 模型:https://huggingface.co/qihoo360/FLUX-Makeup/tree/main
论文介绍
妆容迁移技术旨在将参考图中的妆容风格迁移到源图上,同时保持源图人物的身份特征不变。然而,现有方法往往只能在这三点之间做权衡,难以达到理想的效果。GAN方法需要大量人工设计的损失函数和人脸先验,调参成本高且稳定性有限;扩散模型方法虽然生成质量更好,但往往依赖人脸关键点、3D人脸模型等额外控制模块,系统复杂度高,也容易引入新的误差。FLUX-Makeup的提出,正是为了解决这些问题,实现妆容迁移的高保真、强一致性和鲁棒性。
方法概述
FLUX-Makeup的核心在于其独特的解耦特征注入机制和高质量数据生成流程。
解耦特征注入(RefLoRAInjector):为了避免身份崩溃与背景失真,FLUX-Makeup通过RefLoRAInjector模块将参考信息与主体生成过程解耦。该模块利用共享VAE编码器提取参考图像的特征,然后通过低秩适应(LoRA)机制定义两组低秩投影,生成参考的Key和Value,与MMDIT特征进行拼接和attention运算。这种方式既实现了妆容相关信息的精准提取,又支持可控的风格调制,同时保持了模型的轻量化和高效性。
高质量数据生成流程:为了提供更准确的监督信号,FLUX-Makeup设计了一条可扩展、可过滤、可控质量的数据生成流程。该流程包括妆容词生成与筛选、大规模自动上妆、多维度数据过滤等步骤,最终构建了包含5万+高质量配对妆容数据的HQMT数据集。这一数据集为FLUX-Makeup的训练提供了坚实的基础,显著提升了模型的性能。
实验
在实验部分,FLUX-Makeup在MT、Wild-MT和LADN三个基准数据集上进行了定量评估。评估指标包括妆容相似度(CLIP-I)、身份一致性(SSIM)以及背景保持(L2-M)等。实验结果表明,FLUX-Makeup在这些指标上均取得了最优或接近最优的综合表现。
妆容相似度:FLUX-Makeup能够准确捕捉参考图中的妆容风格,并将其自然迁移到源图上,实现了高保真的妆容迁移效果。 身份一致性:通过解耦特征注入机制,FLUX-Makeup成功避免了身份崩溃问题,保持了源图人物的身份特征不变。 结果稳定性:在不同姿态、表情和复杂妆容下,FLUX-Makeup均能稳定输出自然、一致的迁移结果,展现了其强大的鲁棒性。
结论
FLUX-Makeup的提出,不仅解决了妆容迁移领域的一系列难题,更为美妆数字化领域带来了新的可能性。其高保真、强一致性、鲁棒的妆容迁移效果,使得妆容迁移技术能够更广泛地应用于美妆电商、内容创作等领域。未来,随着技术的不断发展,FLUX-Makeup有望进一步优化妆容迁移效果,实现更为精准的妆容风格迁移和个性化定制。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论