2025年5月27日星期二

在家也能制做电影级的AI视频,一步一步教你如何搭建Wan2。1的VACE工作流,超详细教程

现在AI技术越来越成熟,只要一台电脑,在家也可以制作电影级别的AI视频了,完全可以以假乱真。

现在AI技术越来越成熟,只要一台电脑,在家也可以制作电影级别的AI视频了,完全可以以假乱真。
今天我带大家通过ComfyUI一步一步搭建Wan2.1最新的VACE工作流,带你体验AI视频的强大之处。
下图为通过本篇文章搭建的工作流制作的AI视频片断,因为上传文件大小有限制,所以画面有压缩。
图片
看完这篇文章,你也可以做出一样的AI视频。
一、节点安装
方法一:
节点的方法有很多种,一种是通过节点管理器,搜索wanvideowrapper,找到插件"ComfyUI-WanVideoWrapper",然后点击安装
图片
方法二:
还通过github下载节点,解压到custom_nodes目录(记得解压后的文件名后面的"main"删掉)。
链接:
https://github.com/kijai/ComfyUI-WanVideoWrapper
图片
节点安装结束后记得重启ComfyUI
关于节点的具体安装方法,请见这篇文章:
让ComfyUI无所不能的秘密:如何自定义节点!AI绘画,ComfyUI教程,安装自定义节点
二、基础模型下载
万相的模型比较多,有些可能还不互通,下面跟大家具体讲一下使用方法。
首先来到万相的下载页面:
https://huggingface.co/Kijai/WanVideo_comfy/tree/main
1、文生视频和图生视频模型
文件名带T2V的就是文生视频模型
显存大于12G的,可以尝试选择14B模型
显存低于12G的,建议选择1.3B模型
图片
文件名带I2V的就是图生视频模型
图生视频的模型同样有两个版本,分别为480P和720P的
显存大于12G的,可以尝试选择720P模型
显存低于12G的,建议选择480模型
图片
文生视频和图生视频的模型放置路径:models\diffusion_models
建议在文件夹下面新建个模型文件夹,方便模型的管理,可以将文件夹改名为"wan2.1",模型放置路径为:
models\diffusion_models\wan2.1
2、VAE模型
不论是万相官方的工作流还是Kijai的插件,VAE的模型都是通用的
图片
VAE模型的放置路径:models\vae
3、clip version 和 text encoder模型
上面讲的模型都是通用模型,下面讲一下不通用模型的使用方法
在使用kijai的插件时,需要对 clip version 和 text encoder模型进行替换,就是下图框选出来的两个模型(这两个模型分别都有两个版本,所以是4个文件)
图片
 clip version模型放置路径:models\clip
text encoder模型放置路径:\models\text_encoders
随着模型文件的增加多,为了避免混乱,同样你可以新建一个 kijai 文件夹放刚刚的模型,方便你对模型的管理。
图片
三、VACE模型下载
VACE一共3个模型,14B有2个模型,1.3B有一个模型
14B的模型最好用12G以上显存的显卡
12G以下的显存的显卡就老老实实用1.3B的模型吧,1.3B的模型用8G显存的显卡也可以跑起来,但速度贼慢了。
另外14B模型建议用fp8版本的,虽然精度没有bf16的好,但速度更快一些
图片
模型放置路径:models\diffusion_models
四、基础工作流搭建
下面开始工作流的搭建了,只要你按照我的步骤一步一步来,最终的工作流肯定是不会出错的。
首先,在工作区空白处双击,搜索并添加wanvideo smpler节点
图片
在model管道处往外拖拽,添加wanvideo model loader 节点
图片
找到vace_model管道,拖拽并添加vace模型选择器节点
图片
设置好正确的文生图基础模型和VACE模型
图片
如果你的显存不足,可以从block_swap_args管道处往外拖拽,添加blockswap节点
图片
blockswap节点可以帮助我们节省显存占用,如果显存够用的话可以不必添加。
如果你想做一个分辨率高或时长比较长的视频,也可以添加这个节点,不过相应的运算时间也会变长。
一般blockswap节点的数值设置到20以上。
图片
回到wanvideo sampler节点,从text管道处拖拽并连接wanvideo textEncode节点
图片
wanvideo textEncode节点是用来写提示词的
图片
wanvideo textEncode节点的t5管道向外拖拽,找到并连接T5 TextEncoder节点
图片
在这里选择我们刚刚下载的text Encode模型
图片
下面再回到WanVideo Sampler节点,向大家介绍一下这个节点的参数含义及用法
feta_args管道,连接WanVideo Enhance-A-Video节点,提升视频质量,参数保持默认不变
TeaCache管道,连接WanVideo TeaCache节点,加速视频生成速度,参数保持默认不变。如果生成的视频手部模糊,可以尝试关掉这个节点
slg_args管道,连接WanVideo SLG节点,提升视频质量,blocks一般设为9
图片
WanVideo Experimental Args节点功能介绍
从wanvideo sampler节点的experimental_args管道向外拖拽,连接WanVideo Experimental Args节点
图片
video_attention_split_steps:
控制模型从什么时候开始处理帧与帧之间的连贯性。
举例:如果将这个参数设为10,表示模型在前10步只关注模型本身的细节或质量,不处理画面的连贯性。这样视频的开头会特别的清晰和稳定,在10步以后才开始慢慢加入视频连贯性的计算。
如果你特别注意视频首帧的画面质量,可以使用它。
图片
cfg_zero_star:让视频的初始帧画面更加稳定,默认保持开启。
图片
use_zero_init:如果视频初始画面比较混乱和闪烁,可以尝试开启看下效果。
图片
zero_star_steps:设置cfg_zero_star从第几步开始启用,默认从第0步开始。
图片
use_fresca:调节视频更注重细节还是更注重整体的参数,打开这个参数后,底面的 fresca_scale_low和high参数就可以使用了
fresca_scale_low和fresca_scale_high:参数越高,视频画面细节越高,参数越低,视频画面越注重画面的整体感。
图片
fresca_freq_cutoff:参数的数值越高,模型会处理更多的细节,数值越低,模型会过滤掉细节,只处理模糊、轮廓等。保持默认的20即可。
图片
在空白处双击,搜索WanVideo VACE Encode节点,使之与WanVideo Sampler节点的image_embeds连接
图片
将WanVideo VACE Encode的VAE管道连接上WanVideo VAE Loader节点,并设置为Wan2_1VAE模型
图片
我们刚刚添加的WanVideo VACE Encode是一个编辑节点,所以还要再增加一个解码节点。
在空白处双击,搜索并添加WanVideo Decode节点,使之与WanVideo Sampler节点连接。
图片
WanVideo Decode节点上面还有一个VAE管道,将它再和VAE节点进行连接。
图片
最后搜索并添加一个合并为视频节点,和视频解码WanVideo Decode节点进行连接
图片
这样基础的工作流就搭建完成了。
我们之后的所有工作流都是基于这个基础工作流进行扩展搭建的,而且这个基础工作流里面的参数也基本不需要进行改变。
基础工作流完整截图见下方。
图片
五、首尾帧工作流搭建
下面以刚刚搭建的基础工作流为基础,继续搭建一个首尾帧工作流。
在空白处双击,搜索并添加 WanVideo VACE Start To End Frame 节点
图片
将首尾帧的图像输出管道(images)和解码节点的输入帧管道(input_frames)相连接
再将遮罩管道(masks)和遮罩输入(input_masks)管道进行连接
图片
在首尾帧节点的start_image和end_image管道分别连接一个加载图像节点,分别放入视频的首尾帧图片
图片
为了保证首尾帧图像的尺寸一致,需要在图像加载节点和首尾帧节点中间分别加一个图像缩放的节点
开启图像缩放节点的裁剪,选择中心裁剪,不然图像会被强制拉伸变形
图片
增加一个获取图像尺寸的节点,通过它将首尾帧节点(WanVideo VACE Start To End Frame)的图像尺寸,传递给图像解码节点(WanVideo VACE Encode)
图片
首尾帧节点里num_frames指的是视频总帧数
这个参数通过获取图像尺寸节点的count管道传递给视频编码节点
图片
视频时长设置
在首尾帧节点里,默认视频总帧数为81帧
在合并为视频节点里,视频的帧率为16帧/秒
所以视频的总时长为:(81-1)/16=5秒
如果你想让视频更加丝滑连贯,可以增加视频的帧率;如果还想同时保持时长不变,就要同时增加视频帧数。
总的来说,想延长视频时长一定要增加帧数,但如果想同时让视频更丝滑,也要提高帧率,但这些都是以增加运行时间为代价的。
图片
现在一个首尾帧的工作流就搭建好了,下图为完整工作流截图。
图片
六、运行工作流
先说下我的本地配置:
3090显卡,24G显存,96G内存
我是开了blocks_to_swap的,数值为20,我试过关闭它,但关了后工作流报错无法运行
图片
这个工作流的视频尺寸为800*600,一共81帧,帧率16帧/秒,总时长5秒
图片
我还把WanVideo Sampler节点中的步数调整为了35步,其它参数没变。
图片
整个工作流跑下来一共耗时1461.18秒,差不多24.35分钟。
下面是24.35分钟跑出来的视频。因为视频体积太大,我把视频尺寸缩小了一半以上,画质比以前降低了不少,但从总体画面来看效果还是不错的。
人物表情和动作自然,还自动补全了背景街道中车辆和人物的变化,使整个视频看起来更加真实。
图片
总体来说VACE模型做出的视频更加真实,细节也更丰富细腻,有了它,我们在家也可以做出电影级别的AI视频了。
不过话说回来,AI视频目前还是一个抽卡的过程,如果一次出的视频不够完美,尝试更改提示词,多抽几次再试一下。
往期文章:
[ComfyUI]FramePack首尾帧工作流,生成丝滑AI视频,实现视频过程精准控制
让AI视频实现精准控制!wan2.1首尾帧模型FLF2V,畅享丝滑过渡,comfyui官方支持!
一次性生成120秒的AI长视频,6G显存就能使用,完全开源免费,FramePack王一般的存在

END




感谢您的阅读,麻烦点个赞+在看吧!

没有评论:

发表评论

直播平台,名符其实的开源,可免费商用;目前专注直播学习平台

直播平台,目前是做教育直播,也可以自由修改为其他直播源代码https://www.gitpp.com/wemi 直播平台,目前是做教育直播,也可以自由修改为其他直播 源代码 https://www.gitpp.com/wemirr/project-gpp-0520601002...