紧接着昨天的文生视频工作流，我们今天来讲解wan2.2的图生视频工作流。图生视频工作流简单来说就是我们给comfyUI一张图片，让这张图片动起来，就像下面这个视频一样。你可以从comfyUI的模板中直接加载官方图生视频工作流，也可以从我们昨天的文生视频工作流开始，将它改造成图生视频工作流。我们从昨天的文生视频开始进行工作流改造，文生视频讲解的文章详见下面链接：要做图生视频，首先要将我们之前的文生视频模型改成图生视频(i2v)，不仅UNET模型要改，加速lora的模型也要改。2、增加"加载图像"节点和"Wan图像到视频"节点图生视频工作流增加了一个"加载图像"节点，通过这个节点上传我们需要变成视频的图片，然后与"Wan图像到视频"节点相连，然后通过VAE编码成大模型能理解的数据。为了VAE起作用，我们需要将VAE节点和"Wan图像到视频"节点进行连接在文生视频工作流中，正负向提示词的输出端是直接连接高低频采样的，现在图生视频增加了一个"Wan图像到视频"节点，这个节点需要在正负向提示词和K采样器之间才能起作用。"Wan图像到视频"节点需要放在正负向提示词和K采样器之间的位置。加载的图片本身就含有尺寸信息，而且在"Wan图像到视频"节点里面也有画面尺寸的设置参数，所以我们直接将"Wan图像到视频"节点的latent端连接到K采样器的latent端就可了。此时文生视频的空Laten节点就会自动失效，删除就可以了。此时图生视频的工作流就已经改造完成了，我们可以直接生成视频了。为了更好的控制视频画面的尺寸，我们可以在加载图像后面增加一个"按宽高比缩放_V2"节点，通过它来更方便的控制画面尺寸。和昨天讲到的文生视频工作流一样，为了更方便的控制视频时长，新增一个简易运算，这样我们直接输入一个数字5，就代表视频的时长5秒。因为我们已经提供了图片，不需要对画面做过多的描述，只要简单描述人物和视频画面如何运动就可以了。下面是视频结果，视频中运镜的效果不太明显，只在视频结尾处看到了一些镜头变化，可能和视频时长太短有关。再来说一下文章开头的那个视频，同样是通过加载一张图片生成的视频，这个工作流的提示词是：女人在跳扇子舞，镜头跟随。我把这两个工作流用到的图片也上传上来，有兴趣的同学可以自己生成视频玩玩。----------我是分割线----------
【如何获取工作流】
目前RunningHUB可以说是插件和模型更新最快的网站了，如果想体验 ComfyUI最新版的功能，可以到RunningHUB上面去体验。如果通过我的邀请码注册，可以获得1000点积分，这些积分可以白嫖很长时间了，每日登录还能再获得100积分。https://www.runninghub.cn/?inviteCode=3qo65owt我的很多工作流也都上传到了RunningHUB平台上面，在平台上面搜索"青橙"就能搜到，这些工作流可以免费下载到本地，也可以用刚刚注册时送的积分免费在平台上面体验。https://www.runninghub.cn/post/1956316164643323905
感谢您的阅读，麻烦点个赞+在看吧！
没有评论:
发表评论