大家好，我是每天分享AI应用的萤火君！
今天给大家分享点不一样的东西，之前的文章中我介绍AI绘画的内容比较多，大多都是静态图片的处理，这篇文章给大家介绍下最近很火的一个数字人项目：EchoMimic。
在官方的介绍中，EchoMimic 可以通过音频驱动人物的肖像照片，让照片说话、眨眼睛，以及做出各种动作，也就是制作数字人；在最新的的V2版本中，EchoMimic 已经可以实现半身人体的动作，越来越接近商用效果。
效果展示
废话不多说，先看效果（视频不方便，先放几张照片）。
EchoMimic 的大头数字人：
EchoMimic V2的半身数字人：
环境准备
EchoMimic 可以独立运行，不过因为我习惯使用ComfyUI，而EchoMimic也有对应ComfyUI插件，所以这里介绍的是EchoMimic在ComfyUI中的用法。
如果你还没有使用过ComfyUI，可以看我之前写的入门文章：ComfyUI基本功能用法
安装ComfyUI插件
EchoMimic
这个是数字人的重点，支持V1和V2模型。
插件地址：https://github.com/smthemex/ComfyUI_EchoMimic
可以直接使用 ComfyUI Manger安装，也可以下载到本地后，再放到 ComfyUI 的 custom_node目录。
插件官网介绍了相关模型的下载方法，虽然模型较多，不过按照说明操作是可以完成的。如果懒的一个个下载，也可以通过我整理的资源下载，下载方式见文末。
CosyVocie
这个插件是用来合成语音的。
插件地址：https://github.com/AIFSH/CosyVoice-ComfyUI
可以直接使用 ComfyUI Manger安装，也可以下载到本地后，再放到 ComfyUI 的 custom_node目录。
运行的时候模型会自动下载，也可以通过我整理的资源下载，下载方式见文末。
云环境镜像
如果你没有ComfyUI的环境，可以使用我的云环境镜像：https://bbs.haoee.com/postDetail/618
这个镜像已经安装了本文使用的插件和模型，只要把工作流拖进去就可以运行了。
打开页面后，点击右下角的"创建实例"，选择合适的GPU型号即可创建一个镜像的实例。
然后在实例列表页面，点击对应实例的 "公网访问" 按钮，获取链接地址，粘贴到浏览器地址栏中就可以访问了。
注意如果出来的页面是空白，可能是ComfyUI正在启动，请稍等2分钟。
使用方法
使用EchoMimic
在ComfyUI中打开工作流（给公众号"萤火AI绘画"发消息"工作流"即可获取我分享的几十个免费工作流）。
完整的工作流长这个样子：
大概分为三部分：合成语音、驱动人体动作、放大视频。
合成语音使用的是 CosyVocie，你需要准备一段尽量干净的参考语音和对应的文本，然后再提供需要合成语音的文本，就可以生成模仿参考音色的新语音。我提供的镜像中有内置的参考语音，不妨一试。
驱动人体动作使用的就是EchoMimic了，需要上传一张人物的半身照片，模型可以选择V1和V2版本，V1是大头视频（自动裁剪），V2是上本身视频。插件内置了一套默认的人物动作，你也可以上传一段人物视频，让它参考其中的动作。注意设置视频的长度=每秒帧数（默认25）*语音长度。
放大视频也是EchoMimic插件提供的能力，选择一个放大模型就可以了。
使用ChatTTS
CosyVoice 合成语音虽然效果比较好，但是速度很慢，这里再分享一个ChatTTS的方法，合成速度很快，相关的工作流我也准备好了。
我在镜像中内置了几个声音角色，不妨一试。这个工作流还支持多人对话、音色克隆。
资源下载
本文介绍的工作流，都可以直接在我的云镜像中使用：https://bbs.haoee.com/postDetail/618
你也可以把这些工作流下载到本地运行，给公/众\号 "萤火AI绘画" 发消息 "工作流" ，即可获取我免费分享的几十个工作流。
制作不易，模型资源和高级版工作流目前仅在我的AI绘画专栏中提供下载，如有需要请点击下方链接或者扫码订阅小册：https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6
以上就是本文的主要内容。
之前我还介绍过一个数字人的工具：SadTalker，可以在SD WebUI中直接使用，上传一张照片和一段语音，即可生成一段数字人视频，但是SadTalker的效果没有EchoMimic好，有兴趣的可以去看看：https://www.haoee.com/applicationMarket/applicationDetails?appId=35&IC==XLZLpI7Q
后续我准备制作一个数字人专用的 ComfyUI 镜像，感兴趣的同学请及时关注。
没有评论:
发表评论