让静态照片里的脸"活"起来，还能精准表达各种细腻情绪，甚至能同时让多个角色"动"起来？
让静态照片里的脸"活"起来，还能精准表达各种细腻情绪，甚至能同时让多个角色"动"起来？这听起来像魔法，但高德地图、阿里巴巴集团和北京邮电大学联合研究团队真的做到了！他们提出FantasyPortrait框架，用创新方法攻克难题，还配套推出专门的数据集和基准。大量实验证明，它在多场景下表现远超现有方法。感兴趣的小伙伴们一起来学习一下吧。
多角色肖像动画
FantasyPortrait 支持使用多个单人视频或单个多人视频驱动多个角色，生成细致的表情和逼真的肖像动画
多样化的人物风格
FantasyPortrait 可以制作各种风格的动画人物，生成动态、富有表现力且自然逼真的风格化视频。
与其他方法的比较
相关链接
论文：https://arxiv.org/abs/2507.12956 主页：https://fantasy-amap.github.io/fantasy-portrait 源码：https://github.com/Fantasy-AMAP/fantasy-portrait 数据：https://github.com/Fantasy-AMAP/fantasy-portrait
介绍
从静态图像中制作富有表现力的面部动画是一项极具挑战性的任务。先前依赖于显式几何先验（例如面部特征点或 3DMM）的方法在交叉重现中经常出现伪影，并且难以捕捉细微的情绪。此外，现有方法缺乏对多角色动画的支持，因为不同个体的驱动特征经常相互干扰，使任务变得复杂。
为了应对这些挑战，论文提出了 FantasyPortrait，这是一个基于扩散变换器的框架，能够为单角色和多角色场景生成高保真且富有情感的动画。该方法引入了一种表情增强学习策略，利用隐式表征来捕捉与身份无关的面部动态，从而增强模型渲染细粒度情绪的能力。对于多角色控制，设计了一种带掩蔽的交叉注意力机制，以确保表情生成独立且协调一致，从而有效防止特征干扰。
为了推进该领域的研究，论文提出了 Multi-Expr 数据集和 ExprBench，它们是专门为训练和评估多角色肖像动画而设计的数据集和基准。大量实验表明，FantasyPortrait 在定量指标和定性评估方面均显著超越了最先进的方法，尤其是在具有挑战性的交叉重现和多角色情境中表现出色。
方法概述
FantasyPortrait是一个基于 DiT 的全新框架，用于生成富有表现力且对齐良好的多角色肖像动画。该方法利用隐式面部表情表征来实现身份无关的运动传递，同时保留精细的情感细节。此外引入了一种带掩蔽的交叉注意力机制，以实现对多个角色的同步且独立的控制，从而有效解决表情泄漏问题。为了支持该领域的研究，论文贡献了全面的评估基准 ExprBench 以及多角色面部表情 Multi-Expr 数据集。大量实验表明，FantasyPortrait 在单角色和多角色动画场景中均优于现有方法，尤其是在处理跨身份重现和复杂情感表达方面。
实验结果
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
没有评论:
发表评论