大家好，我是每天分享AI绘画的萤火君！
最近我一直在研究AI写真技术，之前的文章介绍过SD1.5、SDXL下的各种AI写真创作方法：
现在Flux横空出世，相关的生态也逐渐热闹起来，这篇文章就给大家介绍一种基于Flux模型的AI写真创作方法：Flux PuLID，基于Flux生图的优秀性能，以及PuLID的超级人脸复刻能力，我们可以创作出质量更高的写真作品。
因为SD WebUI对Flux的支持一直不太好，所以这篇文章将使用 ComfyUI 进行演示，工作流下载见文末。
注意本文目的是分享AI写真技术，切勿用于非法用途。
效果展示
废话不多说，先看效果（这些照片基于同一个AI人物肖像）：
PuLID 原理
PuLID其实早在SDXL时代就已经出现了，它通过一种新颖的训练范式，在不显著改变原始文本到图像扩散模型行为的前提下，实现了高保真度的身份（ID）相似性。具体来说，包括：
1、语义对齐损失（Semantic Alignment Loss）：确保嵌入的身份信息不会干扰原始模型的行为。它比较了有无身份信息时模型对提示的响应，使得两者尽可能相似。
2、布局对齐损失（Layout Alignment Loss）：确保生成图像中除身份相关元素外（如面部、发型、肤色），其他非直接关联身份的元素（如背景、光照、构图和风格）能与原始模型保持一致。
3、身份损失（Identity Loss,），通过优化保证生成图像中的身份特征与输入的身份信息高度匹配。
最终，这些损失函数被整合到一个全面的目标函数中，以指导模型的训练过程。
环境准备
你可以在本地安装一个ComfyUI，然后安装相关的插件和模型。
不过AI绘画对电脑的要求比较高，运行本文介绍的工作流，你需要一个24G左右的Nvidia显卡；另外你还需要一些技术基础，解决一些可能出现的报错问题。对于前期测试，或者频率不高的情况，建议先在云环境体验，需要重度使用的时候再到本地安装。
本地安装部署
参考我之前的这篇文章安装ComfyUI：ComfyUI 完全入门：安装部署
Flux PuLID 插件的地址：https://github.com/sipie800/ComfyUI-PuLID-Flux-Enhanced
Flux本身需要的模型网上铺天盖地，就不多说了，单独列下 PuLID 需要的模型，包括：
PuLID 模型：
下载地址：https://huggingface.co/guozinan/PuLID/blob/main/pulid_flux_v0.9.0.safetensors
本地目录：ComfyUI/models/pulid/
EVA CLIP模型：
下载地址：https://huggingface.co/QuanSun/EVA-CLIP/blob/main/EVA02_CLIP_L_336_psz14_s6B.pt
本地目录：ComfyUI/models/clip
facexlib模型：
下载地址：https://huggingface.co/camenduru/facexlib/tree/main
本地目录：ComfyUI/models/facexlib
AntelopeV2 模型：
下载地址：https://huggingface.co/MonsterMMORPG/tools/tree/main
本地目录：ComfyUI/models/insightface/models/antelopev2
使用云环境镜像
如果你本地没有相关的资源，也不想费力吧啦的自己部署，或者就是想看看效果，可以直接使用我的云镜像，一键开启，直接使用。
镜像访问地址：https://www.haoee.com/applicationMarket/applicationDetails?appId=27&IC=XLZLpI7Q
注册有一定的赠送额度，相当于免费体验几个小时。体验过后，可以再决定是否大力跟进。
注册成功后，点击页面上的"立即创建"，即可开启 ComfyUI 应用，如下图所示：
应用创建后会自动跳转至"工作台"。启动成功后，状态将显示为"运行中"，此时点击"打开应用"，即可在浏览器进入操作界面。本应用启动大约需要1-2分钟，如果打开页面显示空白，请刷新再尝试。
ComfyUI在浏览器中启动后，我们可以先通过设置切换到中文界面：
然后点击"加载"选择合适的工作流，点击"添加提示词队列"，就可以开始愉快的生成了。
使用PuLID
基本使用
这个工作流可以通过我的公众号免费下载，下载方式见文末。
PuLID的使用比较简单，只需要在原来Flux工作流的基础上增加几个 PuLID 的节点，包括：Apply PuLID Flux，以及相关的：加载图像、LoadInsightFace、Load Eva Clip、Load PuLID Flux Model等节点，如下图所示：
介绍下主要的几个部分：
1、上传参考图：选择一张肖像图，面部清晰，图片尺寸不要太大（太大了可能找不到人脸）。
2、设置提示词：描述要生成图片的内容。
3、设置模型：这里设置的是Flux的相关模型，Flux的主模型使用 fp8 的即可（显存使用与生图质量平衡）。
4、人脸信息提取：这是PuLID的核心，它会从参考图中提取人脸的肖像特征，并作用在生图模型中。PuLID自身有一个预训练的模型，目前发布了两个版本：0.9.0和0.9.1，实测0.9.1生成图片质量稍高，但是人物的还原度不如0.9.0。
5、采样生成：Flux采样生成，如果想一次生成多张，可以设置Latent节点中的"批次大小"，建议不要超过4。
高级版本
这个工作流可以通过我的小册下载，下载方式见文末。
在这个高级版的工作流中，我提供了更多生成增强能力，包括：使用多张辅助参考图、 面部聚焦、内置提示词选择、后期放大，以及LoRA模型选择。这个工作流配置了开关，可以轻松开关这些能力。
介绍下主要的几个部分：
多张辅助参考图：PuLID支持使用多张辅助参考图，这样可以强化生成图片中人物形象的相似度。对于多张图片的融合生成，PuLID支持多种融合方式：mean、contact、max、auto_weight、train_weight等，使用train_weight时，我们可以设置一张主参考图片，这样最终生成的图会和主图片更加相似。
面部聚焦：参考图片太大或者太小的时候，可能不能准确识别到图片中的人脸信息，这时候可以使用这些节点优化对人脸的识别。
内置提示词选择：高级版本中提供了若干测试使用的提示词，包括：中国水墨画风格、皮克斯分割、迪斯尼风格、真实照片、乐高风格、动漫风格等，方便大家测试使用。
后期放大：采样生成的图片不能太大，否则生成速度会很慢，使用后期放大可以快速获取一张高清大图。
LoRA模型：我们可以为Flux模型搭配一个LoRA模型，生成一些特定风格的图片，比如Flux生成图片的背景都比较模糊，使用一个反模糊的LoRA就可以生成更清晰的背景。
资源下载
本文介绍的工作流，可以直接在我的云镜像中使用：https://haoee.com/applicationMarket/applicationDetails?appId=27&IC=XLZLpI7Q
你也可以把基础版本的工作流下载到本地运行，给公众号 "萤火AI绘画" 发消息 "工作流" 即可获取，同时还有我免费分享的几十个工作流。
制作不易，PuLID高级版本的工作流目前仅在我的 AI绘画专栏 中提供下载，如有需要请点击下方链接或者扫码订阅小册：https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6
以上就是本文的主要内容。
如果你对AI绘画感兴趣，不妨点个关注，我会分享更多有趣且实用的AI绘画知识和技巧，让大家少走弯路，更快掌握相关使用方法。
没有评论:
发表评论