大家好,我是 Jack。
今天继续聊聊科技圈的那些事儿~
一、EchoMimicV2
EchoMimic 升级了,能够支持完整数字人的视频生成,不仅仅局限于头部,看下整体的效果:
EchoMimicV2 利用参考图像、音频片段和一系列手部姿势来生成高质量的动画视频,确保音频内容和半身动作之间的连贯性。
一共需要三路输入:参考图、驱动音频、手部姿态。
EchoMimicV2 的开发是为了应对现有动画生成技术中的一些实际挑战,提出了一种名为「Audio-Pose Dynamic Harmonization」的新策略,能够简化动画生成过程,同时提升半身动画的细节表现和表现力。
为了应对半身数据的稀缺,研究者们创新性地引入了 "头部局部注意力" 机制,这一方法能够在训练过程中有效地利用头部图像数据,并在推理阶段省略这些数据,进而为动画生成提供了更大的灵活性。
此外,研究团队设计了 "阶段特定去噪损失",以引导动画在不同阶段的运动、细节和低级质量表现。这种多层次的优化方法,使得生成的动画在质量和效果上都得到了显著提升。
可以看下与现有的姿态驱动算法的效果比较:
这是与音频驱动算法的比较:
EchoMimicV2 的效果提升还是不错的!
目前算法推理代码已经开源:
https://github.com/antgroup/echomimic_v2
也可以直接在 ComfyUI 上使用,已经插件支持:
https://github.com/smthemex/ComfyUI_EchoMimic
不过需要注意的是,想玩这个算法,至少得有 24GB 的显存。
二、华为
今天不少人都在讨论华为的新品。
华为 Mate70 系列全系价格已公布,华为 Mate70 售价 5499 元起;
华为 Mate 70Pro 售价 6499 元起;
华为 Mate 70Pro+ 售价8499元起。
截至发稿,华为商城这一系列的预约量已达 335.7 万,京东商城 100 万+。
话说,你准备冲 Mate 70 吗?
没有评论:
发表评论