AnimaX 是一个前馈 3D 动画框架，它将视频扩散模型的运动先验与基于骨骼的动画的可控结构连接起来。
AnimaX 是一个前馈 3D 动画框架，它将视频扩散模型的运动先验与基于骨骼的动画的可控结构连接起来。传统的运动合成方法要么局限于固定的骨骼拓扑结构，要么需要在高维变形空间中进行昂贵的优化。相比之下，AnimaX 有效地将基于视频的运动知识迁移到 3D 领域，能够在任意骨骼系统中，通过文本条件为各种关节网格制作动画。几分钟内即可以物理上合理的方式制作 3D 动画。
使用视频姿势扩散模型制作骨骼动画如下图所示：
相关链接
代码：https://github.com/anima-x/anima-x 论文：https://arxiv.org/abs/2506.19851 主页：https://anima-x.github.io
论文介绍
AnimaX 是一个前馈 3D 动画框架，它将视频扩散模型的运动先验与基于骨架的动画的可控结构连接起来。传统的运动合成方法要么局限于固定的骨架拓扑结构，要么需要在高维变形空间中进行代价高昂的优化。相比之下，AnimaX 有效地将基于视频的运动知识迁移到 3D 领域，支持具有任意骨架的多种铰接网格。
该方法将 3D 运动表示为多视角、多帧的 2D 姿态图，并支持基于模板渲染和文本运动提示的联合视频姿态扩散。论文引入共享位置编码和模态感知嵌入，以确保视频和姿态序列之间的时空对齐，从而有效地将视频先验迁移到运动生成任务。生成的多视角姿态序列被三角剖分成 3D 关节位置，并通过逆运动学转换为网格动画。 AnimaX 使用新整理的 160,000 个装配序列数据集进行训练，在 VBench 的泛化、运动保真度和效率方面取得了最先进的结果，为类别无关的 3D 动画提供了可扩展的解决方案。
方法概述
AnimaX 可在几分钟内为一个带关节的 3D 网格制作动画。AnimaX 包含两个阶段：
根据输入网格渲染的模板视图和姿势图，同时生成多视角一致的视频和相应的姿势序列，并附带文本描述； 使用多视角三角测量恢复每帧的 3D 关节位置，并应用逆运动学获取关节角度并制作网格动画。
实验
结论
论文提出的 AnimaX 是一个用于为具有任意骨架结构的铰接式 3D 网格制作动画的前馈框架，它将视频扩散模型的泛化运动先验与基于骨架的动画的结构化可控性相结合。与依赖固定骨架拓扑或需要昂贵优化的现有方法不同，该方法能够高效地生成基于文本运动提示的、时间和空间一致的多视角姿态和视频序列。通过引入联合视频姿态扩散、共享位置编码和模态感知嵌入，AnimaX 有效地将基于视频的运动知识迁移到 3D 领域，并支持广泛的网格类别。在 VBench 上进行的大量实验验证了提出的方法在泛化能力、动画质量和运行效率方面的卓越性。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
没有评论:
发表评论