2025年10月3日星期五

「0 元 0 代码」1 张原图炼出「永不崩」专属 LoRA,教程来了

我们在用 AI 生图的时候,很多人都有过这样的烦恼,就是想固定一个角色很难,每一次生图时的TA都不大一样。

其实,想要稳定地"复现"一个角色,最好的方法就是训练一个自己专属的 LoRA 模型。

有了这个专属LoRA,无论人物更换什么肢体动作或更换什么背景,AI 都能很好的保持你想要的、形象统一的角色。

今天我就带大家从零开始,一步步完成一个LoRA训练。

本篇文章用到的所有工具不仅免费,而且操作简单,心动的话,就跟着我一起开始吧。

一、准备素材

1、准备基础图片
首先我们需要先准备一张基础图片,也就是我们希望训通过LoRA生成的图片人物长什么样子。
下面这张图片是我自己用AI生成的,我用它作为这次训练的基础图片,我们这次的LoRA训练就从这张图开始。
图片
选定了基础图片之后,我们还需要这个人物的不同角度的图片,大概需要10-20张左右。以前我们想要整理一个人物的不同角度的图片是很麻烦的事情,不过现在简单了,有了AI还有什么做不到呢?
2、准备不同角度的参考图片
前面我们讲过 Qwen-imge-edit-plus的操作方法,我们可以用它强大的人物一致性能力,生成人物不同角度、不同姿势和不同环境的图片。
Qwen-Image-Edit-Plus 强势升级!支持多图参考+内置ControlNet,人物姿势精准可控|ComfyUI教程
打开工作流(工作流地址见文末),默认工作流是两图参考模式,我们需要对工作流进行简单改造,将它改成单图模式。
我们要将image2和与它关联的节点屏蔽掉,只保留image1就可以了。
操作方法:将下图中紫色的部分选中,按下ctrl+B即可禁用它们。或者直接删除也可以。
图片
重点:在K采样器这里要确保是随机种子(randomize),这样我们每次输出的图片才会随机变化。
图片
在空Latent这里确定好图片尺寸。如果你想生成竖图,可以按我下面的尺寸设置。你还可以可以增加生图批次,比如我设成了6,这样一次就可以生成6张图片。
图片
开始生图:
输入提示词:保持人物一致性,将人物换个角度,全身照,随机表情,随机背景
下图中红圈处分别是我们上传的基础图片、提示词和图片尺寸及批次设置。
图片
因为我们设置一次生成6张图片,所以需要等待的时间要长一些,不过生成的质量还是不错的。
图片
将满意的图片保存下来后,再次点击"运行"按钮再次生成图片,因为我们设置的是随机种子,所以每次生成图片是不一样的。
图片
提示词技巧:
提示词可以这样写首先一定要写"保持人物一致性",然后写"将人物换个角度"、如果你想要有人物的表情变化,可以加上"随机表情",,如果想要人物面部特写,可以写"面部特写",反正就是随机组合。
图片
这些是我经过几轮生成的图片。
图片
下载图片后再仔细筛选一下,删除坏图,最终准备10-20张就可以了
图片

二、LoRA模型训练

来到免费的LoRA训地址:

https://modelscope.cn/aigc/modelTraining

1、设置基本参数

选择我们要训练的底模,我这里选择千问的Qwen-image,你也可以选择其它模型。

填上LoRA的中文名字、英文名字和触发词,这个触发词要是独有的词(可 以是随便写的),不要设成一个大众的词。

我们以后用这个LoRA时,提示词每次都要加这个触发词。

图片

2、上传数据集

如果你的数据集跟我一样是在本地准备的,就选择左面的从本地上传图片;如果你的数据集是在modelscope上面准备的,就选择右边的已有数据集。

图片
图片

3、图片打标

上传完数据集,还需要对图片进行打标。只要将鼠标停留在图片上,会弹出一个"编辑"按钮。

图片

点开后,你可以自己输入打标词,也可以通过右下角的"获取AI提示词"自动打标。

图片

自动反推出的提示词分为两种,一种是自然语句的一种是短句我们只需要自然语句的。

点击自然语句的提示词,提示词就会被选中移到左面的文本框内。

图片

再点击翻译,将提示词翻译成我们成能看懂的中文

图片

4、修改打标词

自动打标后的提示词还需要进行人工修改,这个地方整个训练过程中唯一需要费点脑子的地方。

打标原则:提示词中没有写的才是LoRA能记住的。

下面是我们刚刚通过反推出来的图片提示词,这个提示词包括人物的面貌特征、服装特征、头发特征、动作特征、背景特征等几个方面。

要让 LoRA 每次生成的都是"同一个人",就得把人物特征锁死在权重里。
因此,凡是写脸、写衣服、写发色、写饰品的词,全从提示词里清出去——只留场景、光、动作、表情,让模型无路可退,只能搬出你设定的那张脸。

图片

修改后的提示词:

图片

下面就是苦逼的修改打标提示词的工作了,你上传的图片越多,修改的工作量越大。

5、开始模型训练

打标提示词修改完毕后,点击左下方的"开始免费训练"。

图片

这时会显示正排队中,谁让我们是免费用户呢,不着急的话就先慢慢等着吧,这时你去干其他事情就好了。

图片
不知等了多久,终于开始在训练了,不过训练的过程还是比较慢的,需要耐心等待。
图片

训练的时间和我们的训练前设置的每次次数和轮数以及我们上传的图片数量是有关的,比如我们上传了15张图片,那么一共需要训练15*10*20=30000步。

图片我一共上传了25张图片,一共训练了22小时,才等到训练完成。

图片

系统会自动保留最后4个模型,分别是训练了5轮到20轮的。

也并不是说训练轮数多模型就一定会更好,轮数少模型就更差,有时5轮的可能会比20轮的还要好。

这需要我们自己去检验哪一轮的更好。

图片

6、模型检验

模型训练效果的好坏需要我们自己来手动检验,这里我先选择20轮的先来检验。

选择ckpt-20,再选择右下角的"开始生成",会跳到新页面。

图片

新页面就是一个生图页面,用到的是我们训练的底模Qwen-image,以及我们刚刚训练好的LoRA,提示词是默认的打标提示词,点击开始生图看下效果。

图片

生图的效果还是不错的,与我们的训练图片还是非常像的。

图片

再回顾一下我们的训练初衷,我们希望在调用这个LoRA的时候直接就能生成我们想要的人物形象,所以除了触发词之外我把其他提示词全删了。

再次点击生成,得到的图片依旧和我们的参考图很像,说明我们的LoRA训练成功了。

图片

下面左图是原图,右图是生成的图片,两者的样貌、衣着及装饰都很像。

图片
图片

7、进阶检验

下面我们在提示词中加入人物的肢体动作和场景,除了远景外,这个LoRA在其他场景下的表现还是不错的,对人物的还原比较高。

提示词规则:触发词+人物肢体动作+场景

静立于悬崖边缘,双手轻抚被风吹起的裙摆,目光望向远方天际,神情淡然

liyuegirl,standing quietly at the edge of a cliff, gently holding down her wind-blown skirt, gazing into the distant horizon with a calm expression.


图片

坐在古老图书馆的木质扶梯上,双腿自然垂落,手中捧着一本古籍,低头细细阅读

liyuegirl,sitting on a wooden ladder in an ancient library, legs dangling naturally, holding an old book in her hands, reading attentively with head bowed.


图片

奔跑在雨后霓虹闪烁的街道上,脚步轻快,溅起水花

liyuegril, running lightly along a neon-lit street after rain, footsteps brisk, splashing through puddles.


图片

侧躺在悬浮的羽毛书页之间,一手托腮,一手翻阅空白书页,空白处随指尖浮现星图

liyuegril, lying sideways among floating feather-light pages, chin propped on one hand, turning blank sheets that bloom into star maps beneath her fingertips.



图片

轻提裙摆踏过青苔石阶,指尖掠过残旧红柱,回廊尽头的铜铃随风作响

liyuegril,lifting her skirt lightly to step up moss-covered stone stairs, fingertips brushing worn red pillars; copper bells tinkle at the end of the corridor in the wind.


图片

半倚曲水拱桥,将折扇探入桥下清溪,随波晃动的月影碎成银鳞

liyuegril, leaning halfway over the arched bridge of a winding stream, dipping her folded fan into the clear water below; the moon's reflection shatters into silvery scales.


图片

赤脚走在夜露润湿的石板小径,手提灯笼映出竹影斑驳,步履轻得像猫

liyuegril,walking barefoot along a stone path wet with night dew, a lantern in hand casting mottled bamboo shadows; her steps are light as a cat's.


图片

三、LoRA

模型下载地址:

https://modelscope.cn/models/erdoncn/liyuegirl-v2.0

图片

另外,我把这个LoRA上传到了runninghub上面,方便大家通过工作流更改提示词生成不同风格的图片。

图片

文中用到的工作流地址:

Qwen-image-edit-plus工作流地址:

https://www.runninghub.cn/post/1973677046226358273

Qwen-image-lora-文生图工作流地址:

https://www.runninghub.cn/post/1973970749973204993



----------我是分割线----------


【如何获取工作流】

目前RunningHUB可以说是插件和模型更新最快的网站了,如果想体验 ComfyUI最新版的功能,可以到RunningHUB上面去体验。
如果通过我的邀请码注册,可以获得1000点积分,这些积分可以白嫖很长时间了,每日登录还能再获得100积分。
注册链接:
https://www.runninghub.cn/?inviteCode=3qo65owt
邀请码:3qo65owt
我的很多工作流也都上传到了RunningHUB平台上面,在平台上面搜索"青橙"就能搜到,这些工作流可以免费下载到本地,也可以用刚刚注册时送的积分免费在平台上面体验。
图片


END




感谢您的阅读,麻烦点个赞+在看吧!

没有评论:

发表评论

AI视频(Wan2。2-Animate)工具V1。2,支持lora导入,V2更新,替换和动作迁移,4步即可,支持批量,解压即用!

一 、下载 进入小程序里有。 二 、更新记录 V1.2版本:2025-10-7 1、支持LORA导入。 V1.1版本:2025-9-24 1、加入人物替换模式。 V1.0版本:2025-9-21 1、基于wan2.2 animate项目,4步即可基于视频参考图片生成高质量视频...