上面的是原始视频素材,下面的是我用AI生成的视频。生成的AI视频不仅完美的替换了原视频中的人物,人物的表情和动作进行了迁移,而且精准的复刻了口型。
继续观看
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
,
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
首先我们需要一个原始视频素材和一张用来替换的人物图片。原始视频素材是我从网上找的电影《闻香识女人》片段,用来替换的人物是我自己生成的AI图片。这一步我们用到的是万相的wan-2.2Animate工作流,这个工作流可以很容易实现对视频中的人物替换和动作表情迁移。这个工作流前些天我们做过介绍。
你只需要上传视频素材和参考人物图片,再设置一下视频尺寸和时长基本就可以了。视频尺寸必须要设为8的倍数,否则会报错,我设为480*832。视频时长基本就是视频素材的时长,我设为9秒。在运行工作流的时候需要注意遮罩的问题。刚开始默认的遮罩可能会没有正确识别人物,这样就会造成角色替换失败。如果想正确替换视频中的人物,我们可以手动对遮罩进行修改:按shift+鼠标左键是正面坐标,也就是我们要替换的部分,按shift+鼠标右键是负面坐标,也就是我们要保留的部分。然后点击生成视频,基本上只需要等待几分钟,视频就生成好了。生成视频后,视频整体表现不错,除了人物口型和声音没有完全对齐有瑕疵外,人物的动作和表情的迁移还是很精准的。我后面试了很多方法,包括绘制矩形遮罩,ctrl+鼠标拖拽将字幕区域全框起来,再shift+鼠标右键将这个区域设为负面区域。如果你实在实在觉得这些字幕影响画面,非要去除不可,我用的方法是到剪映里把字幕部分的画面裁剪掉。
将生成视频放进剪映里,画面左面是参考画面,底部中间部分是没去除干净的字幕,这些都裁剪掉,就是干净无水印视频了。
继续观看
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
,
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
现在我们需要用到Wan2.2_s2v_音频到视频工作流,这个工作流是基于音频驱动视频的工作流,你可以用一张图片+一条音频生成视频,也可以用视频+音频生成视频。你可以直接用一张人物图片来生成视频,但我们想要保留原视频中的人物表情和动作,所以选择了先用Wan-Animate进行视频的角色替换,然后再选择用Wan-s2v对口型。下面我们要用到刚刚生成的视频做为视频素材源,原始的视频做为音频来源重新进行对口型操作。
从这两个视频信息上来看,我们新生成的视频尺寸是1872*1080(之所以是这个尺寸,因为我们用剪映对它裁剪过),这里再强调一下工作流中我们输出的视频尺寸要是8的倍数,否则会出错,所以我们要对视频的尺寸进行调整。我们将视频尺寸调整为832*480,这样视频输出的尺寸也就变成了832*480。对于音频文件,我们需要给音频长度加一个简易运算:a*16+1现在的音频长度是8.36秒,因为我们最终输出的视频是16帧/秒,所以需要生成的帧数是a*16,为了给"段间重叠"留余量,需要加1帧,所以最后是a*16+1。工作流中对视频尺寸的控制如下图所示,视频尺寸为832*480。你也可以不用调节视频素材的尺寸,只要最后输出的尺寸保证是8的倍数就可以,所以你也可以像下面这样连接。工作流中音频时长控制连接如下图所示:a*16+1。为什么我们最后输出的视频是16帧/秒?因为我们在最后的合并为视频节点里的帧率就是16,如果你将这里更改为25,那么前面的音频时长控制公式就要改成a*25+1。从视频抽素材中取一个首帧图片,然后通过图像联结的方法和生成的视频组成上下结构,这样上面是静止的首帧图片(是我们不需要的部分,下面是我们需要的视频)然后再去剪映里裁剪一下就可以了。这是最后生成的视频,上半部分是静止的图片,视频水印在左上角。
继续观看
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
,
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
我们将视频下载后,放到剪映里将上半部分裁剪掉,就得到了我们想要的视频。
继续观看
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
,
视频也能随便P,视频换角色+人物动作表情迁移+对口型一站式教学,wan-2.2Animate+s2v|comfyUI教程
----------我是分割线----------
【如何获取工作流】
目前RunningHUB可以说是插件和模型更新最快的网站了,如果想体验 ComfyUI最新版的功能,可以到RunningHUB上面去体验。如果通过我的邀请码注册,可以获得1000点积分,这些积分可以白嫖很长时间了,每日登录还能再获得100积分。https://www.runninghub.cn/?inviteCode=3qo65owt我的很多工作流也都上传到了RunningHUB平台上面,在平台上面搜索"青橙"就能搜到,这些工作流可以免费下载到本地,也可以用刚刚注册时送的积分免费在平台上面体验。Wan-animate-视频角色替换、动作表情迁移工作流:https://www.runninghub.cn/post/1969620771280744450
https://www.runninghub.cn/post/1973316373772414978
感谢您的阅读,麻烦点个赞+在看吧!
没有评论:
发表评论