今天的文章我们介绍如何自己用AI训练提示词,让AI帮我们自动生成2.2的视频提示词。
我们要训练2.2视频提示词,首先需要找一些wan2.2提示词作为训练素材,可以到通义的官网收集。
https://tongyi.aliyun.com/wanxiang/welcome
下图红框内便是官网示例中的提示词,我们可以把这个网页中的提示词都复制下来。
除此之外,通义还有一个像即梦一样的在线生成视频的网站,这里也提供了很多网友做的视频案例,你可以从中挑一些好的视频,复制它们的提示词。
https://tongyi.aliyun.com/wanxiang/explore
这是我收集的提示词,越多越好
二、训练提示词
将素材提供给通义、豆包、deepseek等大模型,并告诉它,让它通过这些提示词示例总结出提示词的结构和特点,来帮助我写出更好的wan2.2视频提示词。
你还可以告诉它wan2.2视频提示词包括哪些方面内容,比如我告诉它wan2.2视频提示词主要包括以下方面的内容:摄像机运动、视频风格、镜头类型、角色情感、构图、运动与动作、照明类型、特殊效果、时间、色彩色调等。
这是通义总结出来的wan2.2视频提示词的特点,复制它们。
三、完善提示词
新建一个对话框,将刚刚复制的提示词稍作修改,再给通义。
下面这段是完整对话框截图,它主要包含几个部分:
1、写出你要生成主面的主题,这里我让要求帮我生成一个哭泣女人的视频
2、提示词的结构和特点,这里就是上面我们让通义总结出来的东西。
3、为了让AI能够更好的生成我想要的提示词,我给了一个官方提示词示例(你也可以不给),结尾处强调让它只给提示词,不要输出画面。
最后通义也给出了我们想要的提示词。
看下生成的视频成品。原视频是1920*1080的,这是压缩后的效果。
总体上画面比较流畅和真实,光影效果非常有电影感。
如果大家想要这个提示词工程,可以私信回复"Wan2.2"就可以获得。
四、制作ComfyUI自动提示词
有了这个自动提示词工程,下面就是把它应用到ComfyUI中,让ComfyUI能够根据我们提供的主题自动生成提示词。
来到ComfyUI中,整个自动提示词的工作流如下。
这个自动提示词工作流并不复杂,下面我来逐一进行讲解。
1、用户提示词部分:我们要把自己想要生成的画面主题写在这里。比如我想生成一个小女孩在沙滩打球的视频,你就写"一个小女孩在沙滩上打球"。如果你能想到更多细节就多写一些,想不到也无所谓。
2、文本替换部分:这里指定了一个关键词"某某",需要结合第3个节点进行讲解。
3、核心提示词部分:这里的提示词是根据我们前面得到的提示词工程进行了稍许修改而来。提示词前面有一个"根据'某某'主题进行创作",文本替换节点会将这个"某某"替换成我们自己写的用户提示词。
4、提示词展示部分:这个部分负责将我们替换后的提示词进行展示并传递给第5部分(这个部分非必须,可以删除它节约显存,删除后,将从第3部分直接传递给第5部分)。
5、提示词生成部分:负责按照从第4部分接收到的要求生成提示词。
6、展示部分:展示最终按我们要求生成的提示词。
7、清除显存部分:清除占用的显存,并将最终结果传递给文本编码器。
说明:上面这段工作流是在RunningHUB上面搭建的,如果本地没有"Midjourney Style Prompter"节点,可以使用"GLM文本对话"节点进行替换。
使用方法可以见文章:
人人都是设计师的时代来了!借助AI魔法,亲手打造创意无限的自动提示词,让Qwen-image秒变私人设计师,轻松生成专属精美海报
看下完整的工作流:
最后看下最终生成的视频:
总体感觉视频效果还是挺不错的,就是这个女人的泪水太多了,如果是正常女人这么哭,需要喝多少水啊。
再看下其他提示词生成的视频
这个视频的主题是:夜间,一个魔法师正在施魔法,魔法让天空骤亮,绚丽的魔法效果,运镜跟随
这个视频看起来流畅自然,光影效果绚丽,还是非常不错的。
好了,大家有兴趣可以自己试一下,我会把工作流地址放在文末。
----------我是分割线----------
【如何获取工作流】
END
感谢您的阅读,麻烦点个赞+在看吧!
没有评论:
发表评论