我们在用 AI 生图的时候,很多人都有过这样的烦恼,就是想固定一个角色很难,每一次生图时的TA都不大一样。
其实,想要稳定地"复现"一个角色,最好的方法就是训练一个自己专属的 LoRA 模型。
有了这个专属LoRA,无论人物更换什么肢体动作或更换什么背景,AI 都能很好的保持你想要的、形象统一的角色。
今天我就带大家从零开始,一步步完成一个LoRA训练。
本篇文章用到的所有工具不仅免费,而且操作简单,心动的话,就跟着我一起开始吧。
一、准备素材
二、LoRA模型训练
https://modelscope.cn/aigc/modelTraining
1、设置基本参数
选择我们要训练的底模,我这里选择千问的Qwen-image,你也可以选择其它模型。
填上LoRA的中文名字、英文名字和触发词,这个触发词要是独有的词(可 以是随便写的),不要设成一个大众的词。
我们以后用这个LoRA时,提示词每次都要加这个触发词。
2、上传数据集
如果你的数据集跟我一样是在本地准备的,就选择左面的从本地上传图片;如果你的数据集是在modelscope上面准备的,就选择右边的已有数据集。
3、图片打标
上传完数据集,还需要对图片进行打标。只要将鼠标停留在图片上,会弹出一个"编辑"按钮。
点开后,你可以自己输入打标词,也可以通过右下角的"获取AI提示词"自动打标。
自动反推出的提示词分为两种,一种是自然语句的,一种是短句,我们只需要自然语句的。
点击自然语句的提示词,提示词就会被选中移到左面的文本框内。
再点击翻译,将提示词翻译成我们成能看懂的中文
4、修改打标词
自动打标后的提示词还需要进行人工修改,这个地方整个训练过程中唯一需要费点脑子的地方。
打标原则:提示词中没有写的才是LoRA能记住的。
下面是我们刚刚通过反推出来的图片提示词,这个提示词包括人物的面貌特征、服装特征、头发特征、动作特征、背景特征等几个方面。
因此,凡是写脸、写衣服、写发色、写饰品的词,全从提示词里清出去——只留场景、光、动作、表情,让模型无路可退,只能搬出你设定的那张脸。
修改后的提示词:
下面就是苦逼的修改打标提示词的工作了,你上传的图片越多,修改的工作量越大。
5、开始模型训练
打标提示词修改完毕后,点击左下方的"开始免费训练"。
这时会显示正排队中,谁让我们是免费用户呢,不着急的话就先慢慢等着吧,这时你去干其他事情就好了。
训练的时间和我们的训练前设置的每次次数和轮数以及我们上传的图片数量是有关的,比如我们上传了15张图片,那么一共需要训练15*10*20=30000步。
我一共上传了25张图片,一共训练了22小时,才等到训练完成。
系统会自动保留最后4个模型,分别是训练了5轮到20轮的。
也并不是说训练轮数多模型就一定会更好,轮数少模型就更差,有时5轮的可能会比20轮的还要好。
这需要我们自己去检验哪一轮的更好。
6、模型检验
模型训练效果的好坏需要我们自己来手动检验,这里我先选择20轮的先来检验。
选择ckpt-20,再选择右下角的"开始生成",会跳到新页面。
新页面就是一个生图页面,用到的是我们训练的底模Qwen-image,以及我们刚刚训练好的LoRA,提示词是默认的打标提示词,点击开始生图看下效果。
生图的效果还是不错的,与我们的训练图片还是非常像的。
再回顾一下我们的训练初衷,我们希望在调用这个LoRA的时候直接就能生成我们想要的人物形象,所以除了触发词之外我把其他提示词全删了。
再次点击生成,得到的图片依旧和我们的参考图很像,说明我们的LoRA训练成功了。
下面左图是原图,右图是生成的图片,两者的样貌、衣着及装饰都很像。
7、进阶检验
下面我们在提示词中加入人物的肢体动作和场景,除了远景外,这个LoRA在其他场景下的表现还是不错的,对人物的还原比较高。
提示词规则:触发词+人物肢体动作+场景
静立于悬崖边缘,双手轻抚被风吹起的裙摆,目光望向远方天际,神情淡然
liyuegirl,standing quietly at the edge of a cliff, gently holding down her wind-blown skirt, gazing into the distant horizon with a calm expression.
坐在古老图书馆的木质扶梯上,双腿自然垂落,手中捧着一本古籍,低头细细阅读
liyuegirl,sitting on a wooden ladder in an ancient library, legs dangling naturally, holding an old book in her hands, reading attentively with head bowed.
奔跑在雨后霓虹闪烁的街道上,脚步轻快,溅起水花
liyuegril, running lightly along a neon-lit street after rain, footsteps brisk, splashing through puddles.
侧躺在悬浮的羽毛书页之间,一手托腮,一手翻阅空白书页,空白处随指尖浮现星图
liyuegril, lying sideways among floating feather-light pages, chin propped on one hand, turning blank sheets that bloom into star maps beneath her fingertips.
轻提裙摆踏过青苔石阶,指尖掠过残旧红柱,回廊尽头的铜铃随风作响
liyuegril,lifting her skirt lightly to step up moss-covered stone stairs, fingertips brushing worn red pillars; copper bells tinkle at the end of the corridor in the wind.
半倚曲水拱桥,将折扇探入桥下清溪,随波晃动的月影碎成银鳞
liyuegril, leaning halfway over the arched bridge of a winding stream, dipping her folded fan into the clear water below; the moon's reflection shatters into silvery scales.
赤脚走在夜露润湿的石板小径,手提灯笼映出竹影斑驳,步履轻得像猫
liyuegril,walking barefoot along a stone path wet with night dew, a lantern in hand casting mottled bamboo shadows; her steps are light as a cat's.
三、LoRA下载
https://modelscope.cn/models/erdoncn/liyuegirl-v2.0
另外,我把这个LoRA上传到了runninghub上面,方便大家通过工作流更改提示词生成不同风格的图片。
文中用到的工作流地址:
Qwen-image-edit-plus工作流地址:
https://www.runninghub.cn/post/1973677046226358273
Qwen-image-lora-文生图工作流地址:
https://www.runninghub.cn/post/1973970749973204993
----------我是分割线----------
【如何获取工作流】
END
感谢您的阅读,麻烦点个赞+在看吧!
没有评论:
发表评论