2025年5月2日星期五

让AI视频实现精准控制!wan2。1首尾帧模型FLF2V,畅享丝滑过渡,comfyui官方支持!

都知道AI视频的生成过程其实就是在抽卡,如果能够精确控制视频生成的过程,将会大大减少视频的随机性。

都知道AI视频的生成过程其实就是在抽卡,如果能够精确控制视频生成的过程,将会大大减少视频的随机性。
最近阿里wan2.1最新发布的FLF2V(First Last Frame to Video)模型可以根据我们提供的首帧和尾帧图片,再结合提示词,生成中间过渡视频,有效避免了生成的视频跑偏,实现对AI视频更精准控制。
图片
目前FLF2V模型得到了ComfyUI官方的支持,Kijai大神最新的节点也对它提供了支持。
一、安装节点和模型
1、更新节点
首先我们把K神的节点更新到最新版本,更新方法比较多,这里介绍两种比较简单的方法
(1)通过github手动更新插件
打开K神的github页面,下载插件解压后放到Comfyui安装路径下的custom_nodes路径下面即可
插件连接:
https://github.com/kijai/ComfyUI-WanVideoWrapper/archive/refs/heads/main.zip
图片
注意插件文件夹的名称不要带"main"。
这种手动下载的缺点是不能自动更新,下次想更新插件还得手动下载。
图片
查看工作流
在K神的github页面,点击main,进入插件的main文件夹
图片
再进入example_workflows文件夹,这时就能看到K神提供的对应工作流了
图片
其实插件更新后,这些工作流会自动更新到下面的文件夹里:
custom_nodes\ComfyUI-WanVideoWrapper\example_workflows
图片
(2)通过绘世启动器下载插件
点击左侧的版本管理-->扩展-->搜索插件名称,点击更新。
如果你之前的插件是手动安装的,需要先卸载后再安装,以后就可以通过这里更新了。
图片
2、安装模型
进入K神的抱脸主页,进入第一个wanvideo的模型链接
图片
FLF2V模型有两个精度,分别是fp8和fp16,两个文件的大小相差一倍,建议下载fp8的,因为虽然fp16精度更高一些,但它的速度也是非常慢的。
模型页面链接:
https://huggingface.co/Kijai/WanVideo_comfy/tree/main
图片
模型下载后放置路径:models\diffusion_models
图片
二、准备素材
首尾帧的图片素材要保持人物的一致性,我们可以通过谷歌的imageFX快速得到人物一致性的图片。
先通过人物形象得到人物基础图片
图片
然后锁定种子数后添加场景提示词,从得到不同场景的图片,从下图可以看出来,人物一致性相当不错。
imageFX的具体使用方法可以看这篇文章:
告别AI换脸怪异感!一个绝招,轻松打造高品质人物一致性AI视频!
图片
三、首尾帧工作流
更新完节点后,可以从本地找到工作流,具体路径如下:
custom_nodes\ComfyUI-WanVideoWrapper\example_workflows
打开工作流:wanvideo_FLF2V_720P_example_01.json
首尾帧分别上传刚刚生成的两张图片
图片
输入提示词:一个女人,从窗台走到办公桌前,坐下后,从桌上拿起咖啡
图片
最后再检查一下各个节点,将工作流中的模型更换成本地模型,然后点击运行,接着就是显卡疯狂工作的时候了。
图片
前期文章:
告别AI换脸怪异感!一个绝招,轻松打造高品质人物一致性AI视频!
Comfyui制作AI视频,支持文生视频、图生视频、视频生视频,万相2.1本地部署详细方法
一次性生成120秒的AI长视频,6G显存就能使用,完全开源免费,FramePack王一般的存在

END




感谢您的阅读,麻烦点个赞+在看吧!

没有评论:

发表评论

一文看懂!大语言模型与AI智能体的前沿进展

点击下方卡片,关注"AI生成未来"如您有工作需要分享,欢迎联系:aigc_to_future近年来,大语言   点击下方 卡片 ,关注" AI生成未来 " 如您有工作需要分享,欢迎联系: aigc_to_future 近年来,大语言模型...