2025年5月3日星期六

AI电影一镜到底,无限时长!SkyReels-V2直接生成长视频,ComfyUI本地运行!

一镜到底、无限时长的电影级AI视频,终于可以在comfyui中通过工作流实现了。

一镜到底、无限时长的电影级AI视频,终于可以在comfyui中通过工作流实现了。
SkyReels-V2-DF模型,突破时长限制,理论上支持无限长度的影片生成,更适于电影叙事、多镜头运镜等长时序的连贯性场景。
kyReels-V2-I2V模型,专注静态图片的动态视频生成,即图生视频,更适于广告创意、概念图转视频的场景。
图片

今天我们主要来介绍SkyReels-V2-DF模型的长视频功能。
一、插件安装
进入K神的github页面,安装wanvideo插件,如果已经安装过了,需要更新到最新版本
链接:
https://github.com/kijai/ComfyUI-WanVideoWrapper
插件的安装方法,这篇文章有介绍:
让AI视频实现精准控制!wan2.1首尾帧模型FLF2V,畅享丝滑过渡,comfyui官方支持!
、模型安装
进入K神的huggingface页面,在wanvideo模型下面找到Skyress路径
图片
图片
打开skyreels页面后,里面有很多模型,有14B、1.3B,如果你的显卡性能不够强劲,建议直接选择1.3B的。
14B的有720P和540P两种分辨率,另外还分为fp16和fp8两种精度,为了减少计算时间,我选择14B-540P-fp8和1.3B两个模型。
如果大家有更好的显卡,可以挑战一下720fp16的模型。
页面链接:
https://huggingface.co/Kijai/WanVideo_comfy/tree/main/Skyreels
图片
因为模型是基于wan2.1训练的,所以模型要放置到下面的路径:
models\unet\wan2.1
根据下载的模型不同,视频参数设置参考下图:
图片
三、工作流测试
1、打开工作流
启动comfyui,打开K神wanvideo插件路径下的工作流
路径:
custom_nodes\ComfyUI-WanVideoWrapper\example_workflows
工作流:
wanvideo_skyreels_diffusion_forcing_extension_example_01.json
图片
2、测试工作流
工作流打开后先点击运行,检查一下哪些节点有问题,缺模型的重新下载模型,模型名字和本地不一致的改变本地模型。
图片
看到节点有个红色外框的,就说明这个节点有了问题,缺少CLIP模型
模型下载链接:
Comfy-Org/Wan_2.1_ComfyUI_repackaged at main
模型放置位置:models\clip
图片
将wanvideo模型节点改成我们之前下载的14B-540P-fp8或1.3B模型,VAE改成wan2.1vae。
图片
3、输入提示词
因为用的是万相模型,所以提示词是支持中文的
图片
4、调节画面尺寸
加载图像后,通过图像缩放节点调整图像尺寸。
这里你可以让comfyui对它进行调整尺寸,也可以事先自己先用PS裁剪好图像尺寸和比例。
图片
四、节点功能介绍
这个工作流的核心就是下面的三阶采样节点
图片
1、第一阶采样器
这个节点中最主要的是prefix_samples(下图右上角红框中)
这里有两种输入方式,一种是像下图所示,通过加载图像的输入,将图像生成视频。
另一种是把上一个视频末尾的第17帧作为参考生成视频(节点见左下角红框中,这个节点并没有启用)
图片
2、第二阶采样器
从下图中可以看出,第二阶采样器是将第一阶采样器生成视频的第17帧作为采样的参考
图片
3、第三阶采样器和第N阶采样器
同样,第三阶采样器是将第二阶采样器生成视频的第17帧做为采样的参考。
所以理论上我们可以加无限个采样器,生成无限时长的视频。
当然,每阶采样器我们可以分别设置不同的提示词来控制画面(对于图生视频的提示词引导,I2V效果更好)
下图是手动将第一阶采样器的提示词分别复制后连接到第二阶和第三阶采样器上,实现每阶采样器独立提示词控制。
图片
下面是我用三段不同提示词引导的视频,第一段提示词是"一个女人,拿起咖啡杯喝了一口,第二段提示词是"一个女人,将咖啡杯放到桌子上",第三段提示词是"一个女人,转头看着你,露出迷人的笑脸"。
图片
从最终输出的视频来看,有两处比较明显的瑕疵,一是咖啡杯有变形,二是第三段提示词没有完全体现出来,第三段提示词是"人物转向屏幕然后微笑,视频中的人物没有转向屏幕。
不过总体来说,视频的整体效果还是不错的。
图片

往期文章:
Comfyui制作AI视频,支持文生视频、图生视频、视频生视频,万相2.1本地部署详细方法
让AI视频实现精准控制!wan2.1首尾帧模型FLF2V,畅享丝滑过渡,comfyui官方支持!
一次性生成120秒的AI长视频,6G显存就能使用,完全开源免费,FramePack王一般的存在

END




感谢您的阅读,麻烦点个赞+在看吧!

没有评论:

发表评论

AI电影一镜到底,无限时长!SkyReels-V2直接生成长视频,ComfyUI本地运行!

一镜到底、无限时长的电影级AI视频,终于可以在comfyui中通过工作流实现了。 一镜到底、无限时长的电影级AI视频,终于可以在comfyui中通过工作流实现了。 SkyReels-V2-DF模型, 突破时长限制,理论上支持无限长度的影片生成, 更适于电影叙事、多镜头运镜等长...