史诗级电影镜头,堪比闭源模型的wan2.1-FusionX模型来了!
史诗级电影镜头,堪比闭源模型的wan2.1-FusionX模型来了!
FusionX分为两个模型,一个是文生视频模型:FusionX_Text2Video,
另一个是图生视频模型:FusionX_image2video
一、FusionX的不同之处
FusionX是在Wan2.1原有的文生视频和图生视频模型的基础上做了一些改进和增强
具体改进及增强的地方有:
1、增加CausVid,就是之前我们用的加速lora,它允许我们用很低的采样频数生成高质量的视频。
理论上FusionX可以用6步左右生成视频,但实际上需要8-10步才可以生成高质量的视频,这个速度比原先需要20多步才能生成的速度要快出不少 了。
2、增加了AccVideo,增强了视频时间对齐和现实感,同时也具有加速视频的能力。
3、增加MoviiGen1.1,它可以让生成的视频带有电影般的流畅感和光照效果。
4、加入MPS Reward lora,根据运动动态和细节进行调整
5、加入Custom lora,专注于纹理、清晰度和细微细节。(这两个设置都设定为非常低的强度,影响很小。)
总结:
FusionX 可以理解为Wan2.1 T2V和I2V的升级增加版,它不仅拥有更快的生成速度,还有更高的视频生成质量,以及是够好的视频运动效果。
也就是说,之前我们所有关于wan2.1的文生视频、图生视频等基础模型都可以删掉了。
二、工作流参数注意事项
1、attention_mode选择sageattn,速度能提高很多
2、FusionX要求cfg必须为1,因为如果cfg为1的话,负面提示词几乎是不起作用的,为了修正这个问题,所以加入了NAG节点。
3、NAG节点
NAG节点能够有效地恢复负面提示词,能够直接抑制视频语义和风格属性,实现稳定可控的引导
4、采样步数可以先设为6步,快速地验证视频效果,然后再设为10步,得到质量更好的视频。
5、shift:2-9
shift主要根据生成视频的分辨率来设置,值越低越稳定,值越高风格化越强。如果需要真实感更强的视频,可以设低一些,正常在2-9之间。
6、采样器可以选择dpm++_sde/beta,可以获得不错的效果
三、提示词助手(重要!!!)
万相官方根据模型进行训练给出了一个GPT提示词生成器,我们可以使用这个提示词生成器自动生成电影级别的提示词。
提示词助手链接:
https://chatgpt.com/g/g-67c3a6d6d19c81919b3247d2bfd01d0b-wan-cinematic-video-prompt-generator
这个提示词助手可以随机生成一个提示词,也可以根据我们的主题要求生成提示词,还可以根据图片生成提示词。
四、小试牛刀
1、废墟中的士兵
我们根据自己的主题要求,让提示词助手生成了一个提示词
我们上传一个士兵拿着枪的图片(这个图片是文生图得到的),加上这个提示词便得到了文章开头处的士兵拿着枪在废墟中行走的视频。
2、奔跑的怪物
我们先给提示词助手一张怪物的图片,让它生成一个怪物奔跑的提示词
以下是本文用到的工作流在线体验地址:
https://www.runninghub.cn/post/1934980178835906562
END
感谢您的阅读,麻烦点个赞+在看吧!
没有评论:
发表评论