2025年4月21日星期一

用FramPack制作AI视频,时长突破120秒,人物高一致性,6G可用

用FramePack生成的视频可以长达1000帧,画面前后一致性极高,帧率30帧/秒,动作流畅自然,不再出现传

用FramePack生成的视频可以长达1000帧,画面前后一致性极高,帧率30帧/秒,动作流畅自然,不再出现传统方法里的漂移闪动,人物变形等问题。
最令人兴奋的是,虽然 FramePack 生成视频的质量高,但硬件要求却并不高,最低只要6G显存就可以用。
目前支持30系、40系、50系显卡,至于20系显卡,需要有兴趣的同学自己去测试了。
先看一下视频效果
一、软件安装
1、安装整合包
通过下图中的链接,从百度网盘中下载整合包,然后解压使用,这是最方便的方法。
这个整合包有34.28G,体积比较大,建议大家到某宝上花几毛钱买个3小时会员,一会就下好了。
(1)注意压缩包有个解压密码:TTPlanet
(2)用7Z对压缩包进行解压,最好放到固态硬盘,放到纯英文路径下面,路径中不要有中文或特殊字符
2、本地部署
1)下载节点
(1)到github上下载节点
文件解压后放到 "custom_nodes"文件夹下面,注意解压后把文件夹名字中的"-main"给删掉
2、安装模型
一共需要下载4个文件:diffusion_models、VAE、clip_vision、clip
这4个文件下载好后放到comfyui/models文件夹下的同名文件夹下面
文件的具体下载方法和下载链接,在github页面也有提供,大家识别下图中的文字即可获得链接。
(1)、在ddiffusion_models文件夹内放入混元bf16和fp8两个模型,大家根据自己的显存情况选择不同的模型,如果显存大,就选择bf16版的,显存小就选择fp8版的模型
(2)在VAE文件夹中放入混元的 video_vae文件
(3)在clip_vision文件夹内放入 sigclip_vision_patch14_384文件,这个文件和redux是一样的视频编码模型,对我们上传的图片进行视频编码的,
注意:sigclip_vision_patch14_384这个文件是官方页面的文件,但现在有了更好的选择。如果没有下载这个文件的话就不要下载了,推荐下载下面这个siglip2_so400m_patch16_512文件,区别在于前者是384的,后者是512的,画面精度会更高一些。
下图是patch16_512这个文件的下载方法和链接

(4)在clip文件夹内需要下载两个文件,分别是 clip_l和llava_llama3_fp16,你也可以根据自己显卡的性能再下载一个llava_llama3_fp8文件,总共3个文件。
到此comfyui的模型安装结束,下面就可以正常使用了。
二、使用工作流
1、启动comfyui
2、在example_workflows文件夹内找到示例工作流,将这个工作流拖到comfyui工作界面中打开。
3、参数调节
(1)在双CLIP加载器这里选择fp16或fp8模型
(2)在加载图像这里选择一张你想要生成视频的图像
(3)在CLIP视觉加载器这里选择patch16_512模型
(4)在加载模型这里bf16模型
(5)在VAE加载器这里选择我们下载的混元vae模型
(6)设置提示词:女孩打了一个喷嚏
这个文本编码器是支持中文的
(7)设置视频时长将total_second_length设置为6,代表生成视频时长为6秒。
gpu_memory_preervation 代表预留多少显存用于推理,默认最小是6G。
ue_teacache,如果想获得更高的画面质量,可以关掉它。
(8)点击运行生成视频。从后台可以看到显存占用20G,内存占用20G。

4、影响速度的参数
(1)fp16和fp8模型对速度影响不大,主要对硬盘空间和内存占用影响较大一些
(2)出图尺寸对出图速度影响比较大,如果想得到大尺寸的视频,出图速度会变得很慢
(3)在加载模型,fp8_e4m3fn_fast的速度最快,但质量会有所降低
ageattn和sdpa的画质相差不大,但ageattn比sdpa快约40%
(4)视频帧率默认为30,意思是一秒钟有30张图片,你可以减少一些,比如减少到25,可以减少出图时间。
好了,以上是今天的内容,希望大家喜欢。

END




感谢您的阅读,麻烦点个赞+在看吧!

没有评论:

发表评论

省委副书记调研的"实在智能"到底是何方神圣?

点击上方卡片关注 不要错过精彩文章 🎉 读完这篇文章,别忘记给舰长点一个关注!舰长的智能体搭建文章,不仅是节点的构建,也有思路的分享。智能体搭建最重要的就是思路。最希望,能给大家带来不一样的搭建思路和方法。  点一点上方的🔵蓝色小字关注,你的支持是我最大的动力!🙏谢谢啦...