就在这几天,WanAnimate升级到了V2版本,这次升级带来了三大升级:更精准的动作迁移、更快的采样速度,以及显著减少的视频尾影,简而言之,相较以前的版本,V2版本更强!更快!更稳!
一、快速上手
只需要上传一张图片就能实现视频换人效果。
电脑打开链接:
https://www.runninghub.cn/ai-detail/1975219204334948354
手机打开小程序:
如果你想更换一个自己的视频,就将参考视频替换掉。
另外,如果你的视频是横版的,记得把视频的宽高改成832*480.
二、工作流进阶操作
1、模型介绍
如果想在本地运行这个工作流,需要下载模型:
https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled/tree/main/Wan22Animate
2、工作流下载
链接:
https://github.com/kijai/ComfyUI-WanVideoWrapper/tree/main/example_workflows
完整工作流截图如下:
V2版工作流的大部分和以前的版本一样,可以看一下我上期文章:
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
工作流中用到的其它模型的下载:
打开工作流后,在工作流中有一个注释,可以从这里的链接下载其它模型。
3、工作流主要功能讲解
(1)关于自动遮罩
相较于上一个版本,这是V2版本工作流主要更改的地方。
V2版工作流中新增了一个节点"Pose and Face Detection",它可以自动生成遮罩,不需要像以前一样需要手动修改遮罩了。
自动遮罩能够检测出视频中人物的面部表情信息和肢体动作:
(2)循环帧
在"WanVideo Animate Embeds"节点有一个"frame_window_size"参数,说明这个工作流支持循环机制的。
我上传的参考视频长11秒,共176帧。为了防止爆显存,在"frame_window_size"这里设置77帧代表一次只生成77帧,当77帧计算完成后,它会继续从第78帧开始计算,再次计算77帧,经过多次循环把所有帧长计算完,最终得到我们的完整视频。
知识点:这里要注意,循环的次数是一个整数。还是以176帧总长为例,176/77=2.286,取整数为3,所以一共需要计算1次基础计算外加2次循环计算。这3次的总时长是77*3=231帧,比原视频时长176帧多出55帧,这55帧是静止帧。所以你会发现新生成的视频结尾会有一些静止时长。
(3)提示词
有了参考图片和参考视频,提示词部分可写可不写,默认提示词是一个男人在行走,我上传的参考视频是一个有着丰富表情变化的女人视频,对生成的视频也没有明显影响。
(4)、4步采样
V2版的工作流采样只用了4步,采样步数减少了,所以视频生成的速度比以前的版本会更快了。如果你觉得4步采样获得的视频效果不满意,想获得更好的视频效果,可以增加采样步数。
三、实例演示
1、唱歌视频换人实例
上传一个人物唱歌的参考视频和一张参考人物图片,用这个工作流生成一个新视频。新生成的视频人物不仅有口型变化,人物手势的变化基本达到了1比1还原。
下图为参考图像和参考视频。
下面是生成的AI视频。注意看,人物的手势还原比较精准,口型也和声音也完全匹配。
2、双人视频实例
当参考视频是双人视频时,工作流会默认替换从左数的第一个角色,没办法手动指定替换角色。
如果你想指定角色,需要用上一个版本,通过手动遮罩指定替换具体的角色。
下面从左至右分别是参考图片、参考视频和生成视频。
再补充一点:自动遮罩功能的好处是降低了入门门槛,小白上手更容易,但也减少了可操纵性,没办法指定特殊部位的遮罩,比如我们想只换某一个人,只换某一个部位,比如只换头,只换衣服等操作都没办实现了。这些大家自己取舍吧。
本文涉及的工作流:
WanAnimate_v2工作流:
https://www.runninghub.cn/post/1975189830646804481
----------我是分割线----------
【如何获取工作流】
END
感谢您的阅读,麻烦点个赞+在看吧!
没有评论:
发表评论