昨天我们用Wan2.2-Animate的KJ工作流做了视频换人+动作迁移+视频对口型的AI视频，KJ的工作流做出的视频有些偏色，所以今天我们换成官方的工作流看看效果如何。
继续观看
视频想P就P！一键换人+对口型同步，Wan2.2-Animate×Infinitetalk超神工作流，ComfyUI全流程拆解
,
视频想P就P！一键换人+对口型同步，Wan2.2-Animate×Infinitetalk超神工作流，ComfyUI全流程拆解
今天我们主要还是用到两个工作流，一个是Animate工作流，用来实现视频换人+动作迁移，然后再用到infinitetal，用来实现视频对口型。
先打开Animate官方工作流（文中用到的所有工作流见文末）。现在官方只有一个bf16模型，这个模型但足足有近35G，本地电脑肯定也跑不起来这个模型。这个工作流除了加载了一个I2V的lightx2V加速lora，还加载了一个relight重打光的lora。其它的视频编码器和VAE都是正常加载，没有什么变化，也没什么需要特别说明的。参考视频被强制帧率为16帧/秒（你可以不作更改），视频节点后面连接了一个视频信息读取节点，可以看到视频的帧率是16，时长是6.68秒，总帧数是107帧。用于替换视频中人物的图片宽高比没有太多要求，尽量高清就可以。视频尺寸宽832，高480，具体宽高比没有要求，但一定要是8的倍数。这个工作流中人物的面部的姿态和身体姿势分别用了两个DW姿态预处理器获取，这里要注意的是检测模型一定要选择yolox_1.torchscript.pt，不然速度会非常慢。人物遮罩的获取部分，同样用到了点编辑器节点，绿色是正坐标，红色是负坐标，如果默认的坐标选择不正确，可以手动调整。shift+鼠标左键是绿色正坐标，shift+鼠标右键是红色的负坐标。最后这些数据进入WanAnimateToVideo节点，这个节点里有一个非常重要的输出参数是"video_frame_offset"，它代表着你目前的帧数是整个视频的第几帧，看到这个参数就代表这个工作流具有循环扩展功能，具体使用方法后面讲。
接着数据进入采样器和视频剪辑节点，因为生成的视频前几帧一般是没有的，需要经过视频剪辑节点进行修剪，视频具体修剪多少帧，是由前面的WanAnimateToVideo节点自动算出来的，我们不用去管它。
这个工作流中需要设置的参数比较少，现在就可以点击生成了视频了。
生成的视频中人物动作迁移做的比较好，很好的还原了原视频中人物的动作。但人物的嘴型并没有太好得到匹配，这是由于人的嘴巴所占的像素比较小，不容易被检测出来造成的。
继续观看
视频想P就P！一键换人+对口型同步，Wan2.2-Animate×Infinitetalk超神工作流，ComfyUI全流程拆解
,
视频想P就P！一键换人+对口型同步，Wan2.2-Animate×Infinitetalk超神工作流，ComfyUI全流程拆解
这时可能有人已经发现了，生成的视频并没有达到参考视频的长度，这是因数我们的视频生成长度只有77帧，这是为了节约算力造成的。如果想生成完整的视频时长，还需要经过下面的循环扩展工作流。那么需要循环几次呢，需要经过一个公式来计算：ceil(a/b)-1这是一个取整数的公式，a/b就是参考视频的总帧数(107)/我们每次处理的帧数（77）=1.39，取整数=2。因为已经跑过一遍了，所以需要再减去1，最后等于1。
也就是说我们跑完一次77帧后，还需要再循环跑一次，才能得到和参考视频一样时长的视频。
来到循环工作流部分，刚刚计算出来的循环次数给到循环的总量，告诉工作流需要计算几次。前面我们讲到的"video_frame_offset"，它代表着你目前的帧数是整个视频的第几帧，将它连接到value2里，告诉循环工作流每次从第几帧开始计算。后面的工作流和我们上面的工作流差不多，如果我们循环不止1次，在循环工作流里的"video_frame_offset"会把更新后的偏移值再次传回，进入新的循环，最后经过几次循环后得到一个完整的长视频。视频最后出现静止帧，是因为最后一次循环的帧数不够一次完整的循环，工作流会用静止去填补最后的时长。我们可以从原视频获得总帧数，用它匹配生成视频的时长。如果是在runninghub上跑视频，视频左上角会有水印，我们可以用图像联结的方式，在视频上方加一条纯色，然后再回到剪映里把水印部分剪掉就可以了。
继续观看
视频想P就P！一键换人+对口型同步，Wan2.2-Animate×Infinitetalk超神工作流，ComfyUI全流程拆解
,
视频想P就P！一键换人+对口型同步，Wan2.2-Animate×Infinitetalk超神工作流，ComfyUI全流程拆解
这个官方工作流生成的视频比Kj的工作流视频色彩还原要好一些，但经过多次循环后视频质量会有所下降，建议不要生成时间太长的视频。我最开始使用的参人物是暖色调的，参考视频是冷色调的，虽然animate支持重新打光功能，可以让新生成视频中人物的光照效果尽量和四周环境相匹配，但可能冷暖灯光相差太大，生成的视频中人物在环境里显得还是有些突兀。下面这个视频是直接用原始参考图片生成的视频，人物是暖色调的而且比光线亮，周围环境是冷色调的光线暗，对比反差大，一眼就看出是合成的视频。
继续观看
视频想P就P！一键换人+对口型同步，Wan2.2-Animate×Infinitetalk超神工作流，ComfyUI全流程拆解
,
视频想P就P！一键换人+对口型同步，Wan2.2-Animate×Infinitetalk超神工作流，ComfyUI全流程拆解
用Qwen-image-edit-Plus对参考图片进行调色。将参考视频截取一帧，然后将参考图片的色调调成和参考视频相近的色调。保留图片1中人物的五官、发型、服装、姿势和画面构图，仅将整体灯光与色调替换为图片2的冷蓝色风格，不添加或修改任何人物外貌细节。
现在调整后的人物图片和视频色调比较接近了，用它生成的视频就不那么突兀了。
二、视频对口型
视频对口型我们用到infinitetalk的单人工作流，限于篇幅，今天只简单说一下它的使用方法。
打开我给的工作流连接（在文末），左上面的节点加载我们上面用Animate生成的最终视频，下面的节点先取消忽略，上传参考音频的视频并连接到右方的箭头指向的AudioCrop节点。在这个工作流里我也在视频的最上方做了一个纯底的颜色，我们到剪映里再把这个纯色剪掉，就得到无水印的视频了。Qwen-image-edit-plus图片编辑调色工作流：
https://www.runninghub.cn/post/1973677046226358273
an2_2_14B_Animate_自动循环工作流：
https://www.runninghub.cn/post/1973652058060533761
infinitetalk_视频对口型工作流：
https://www.runninghub.cn/post/1973646117596434433
----------我是分割线----------
【如何获取工作流】
目前RunningHUB可以说是插件和模型更新最快的网站了，如果想体验 ComfyUI最新版的功能，可以到RunningHUB上面去体验。如果通过我的邀请码注册，可以获得1000点积分，这些积分可以白嫖很长时间了，每日登录还能再获得100积分。https://www.runninghub.cn/?inviteCode=3qo65owt我的很多工作流也都上传到了RunningHUB平台上面，在平台上面搜索"青橙"就能搜到，这些工作流可以免费下载到本地，也可以用刚刚注册时送的积分免费在平台上面体验。
感谢您的阅读，麻烦点个赞+在看吧！
没有评论:
发表评论