跟我一步一步学习lora训练，小白也能学会，0成本定制自己专属的人物形象

今天跟大家详细讲一下如何训练Qwen-image的Lora，相信通过这篇文章，小白也能训练自己的Lora。

因为训练Lora通常需要很大的算力，很多人本地显卡跑不起来，云端又需要花钱，所以今天跟大家讲一个如何免费白嫖训练Lora的方法。

白嫖网址：

https://modelscope.cn/aigc/modelTraining

通过modelscope每天可以免费训练2个Lora，如果想训练多个，再用其他手机号多注册几个账号就可以了。

训练前的准备

一、数据集的准备

今天我们训练的是Qwen-image的人像Lora，其他模型的Lora训练方法也大同小异，原理明白了就都明白了。

在训练Lora前首先要准备数据集，这是最耗时间的部分，下面是我准备的人像素材，因为我们要训练的是人像Lora，所以要保持这些素材的人物一致性。

关于保持人物一致性的方法方法很多，比如 Kontext、Qwen-image-edit，以及最淅的Nano Banana等，因为篇幅原因这里我就不再赘述了。

关于数据集的注意事项：

除了要保持人物的一致性外，要尽可能多的让人物衣着、颜色、姿势、表情、角度、头发长短、发型、背景多样性。

一般图片准备8-18张左右即可。

二、打标签

在给图片打标签时，我们需要给模型一个触发词，比如我这个模型的触发词是"liyuegirl"，这个触发词就是你想让模型记住或学会的东西。

触发词原理：

在训练lora的时候，如果一个图片的描述信息是"黑色短发，蓝色衣服，黑色眼镜，纯白背景"，我们想让lora学习这张图片，往往lora学会的东西东西都是我们给的提示词之外的东西。如果我们给提供的提示词信息是"蓝色衣服、纯白背景"，那么lora就会学习我没有给的人物特征"黑色短发、黑色眼镜"，并将这些信息记录到触发词里。

所以我们在训练lora时如果提示词越精准，得到的lora结果越差。

例如下面这张图，我想让模型记住这个女人的长相和发饰，那么在打标签的时候提示词里就不要有任何关于人物长相和发饰的描述，同时画面里的其他部分提示词要尽量描述得详细一些。

这样模型经过学习后就会发现，虽然这张图片描述的非常详细，但总有一部分（人物长相和发饰）是没有描述的，而我们提示词中还有一个触发词"liyuegirl"，模型就会将这部分没有描述的部分（人物长相和发饰）对应学习成"liyuegirl"，这个过程就是模型的训练。

注意：

在打标签的时候，不要出现和模型本身概念不一样的标注，比如，人物是黑色短发，你不要非要说他是黄色短发。

你给的触发词也要是唯一的，独特的，不能跟它本来就有的模仿冲突，甚至是和它本来的概念不一致的。比如你给的触发词是"Elon Musk"，可你的图片明明是个特朗普，你觉得你用十几张图片就能改变大模型经过几亿张图片建立的认知？

哪些情况会过拟合

1、数据集很小，模型很大。比如只有一两张图片，模型就不会去学习太多的东西，只会记住这几张图片的信息，这样就会过拟合

2、数据集数量足够，但训练时间比较长。模型在已经达到最优解后，你依然让模型接着训练，模型就会过分去关注你没有提到的那些信息，这样也会导致模型过拟合。

三、模型训练

1、基本参数

进入到模型训练页面，先在左面设置好Lora的中英文名字、触发词，并上传图片（这里演示只上传了5张图片），其他参数可以默认不用改。

下图箭头指向的地方有一个专业参数，点开后可以进行修改，你也可以不用改它。

单张次数表示一张图片训练10次，训练轮数表示一共训练20轮。

如果我们上传15张图片，那么一共训练次数是：10*20*15=3000步。

例如这个Lora一共要训练2600步，现在已经训练了360步

2、批量打标

在图片的下方提供了一个批量打标功能。

选择一个打标模型，点击处理，就可以对图片进行批量打标了。

3、修改打标提示词

批量打好标后，点开其中一张图片对提示词进行修改。

默认提示词是英文的，点击右上方的翻译将它翻译成中文。

我们手动把提示词里关于人物长相、头发颜色和发饰部分全部删除。

删除的部分就是我们想让模型学习到提示词里的部分。

这是修改后的提示词。

4、开始训练

模型训练这部分是最简单的。

我们手动将其他图片的提示词都进行修改后，点击"开始训练"，然后耐心等待就可以了。

训练结束后会保存5个Lora，我们从训练时间最久的那个开始测试，找到生图效果最好的那个Lora保存就可以了。

这个Lora我上传到了runningHUB上面，名字叫"Qwen-image-lora-liyuegirl"，大家有兴趣可以试一下。

Lora的下载地址我我也附在了文末。

这是在RunningHUB上面用Qwen-image工作流跑的效果，我给人物换了风格，但脸型和和原始图片还是很像的。

----------我是分割线----------

【如何获取工作流】

目前RunningHUB可以说是插件和模型更新最快的网站了，如果想体验 ComfyUI最新版的功能，可以到RunningHUB上面去体验。

如果通过我的邀请码注册，可以获得1000点积分，这些积分可以白嫖很长时间了，每日登录还能再获得100积分。

注册链接：

https://www.runninghub.cn/?inviteCode=3qo65owt

邀请码：3qo65owt

我的很多工作流也都上传到了RunningHUB平台上面，在平台上面搜索"青橙"就能搜到，这些工作流可以免费下载到本地，也可以用刚刚注册时送的积分免费在平台上面体验。

本文工作流地址：

https://www.runninghub.cn/post/1961062588018835457

本文Lora下载地址：

https://modelscope.cn/aigc/search?name=liyuegirl&type=model

END

感谢您的阅读，麻烦点个赞+在看吧！