2026年7月1日星期三

实时交互数字人StreamAvatar高保真视频生成低延迟技术突破

StreamAvatar是一种两阶段框架，将人体视频扩散模型应用于实时流式交互视频生成。支持说话、聆听、手势及歌唱，适用于卡通风格。该方法实现精准唇形同步、高视觉质量，计算成本低，适合科研与AIGC应用开发者。

Tags:

点击下方名片关注AIGC Studio公众号！获取最新AI前沿应用/AIGC实践教程！
扫描下方二维码，加入AIGC Studio知识星球！可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料！学习/科研/工作/副业，强烈推荐！
图片

StreamAvatar 通过两阶段框架，将人体视频扩散模型应用于实时、流式和交互式视频生成。给定参考图像和用户/代理音频流作为输入，StreamAvatar 可以流式生成具有生动说话/聆听表情和手势的高分辨率人体视频，从而在低延迟和低计算成本下实现高质量。

图片

unsetunset人类视频生成unsetunset

该方法展现出精准的唇形同步、高视觉质量、良好的身份保留、更少的失真和丰富的动作，同时所需的生成时间也大大减少。

unsetunset风格化效果unsetunset

该方法也适用于卡通和绘画等风格化的角色。

unsetunset歌唱unsetunset

该方法可以生成真人唱歌的视频。

unsetunset

unsetunset论文阅读unsetunset

实时流式交互式虚拟形象是数字人研究中一个至关重要但又极具挑战性的目标。尽管基于扩散的人类虚拟形象生成方法取得了显著的成功，但其非因果架构和高昂的计算成本使其不适用于流式传输。此外，现有的交互式方法通常仅限于头部和肩部区域，限制了其生成手势和身体动作的能力。为了应对这些挑战，我们提出了一种两阶段自回归自适应和加速框架，该框架应用自回归蒸馏和对抗性改进来自适应高保真人类视频扩散模型，使其适用于实时交互式流式传输。为了确保长期稳定性和一致性，我们引入了三个关键组件：参考接收器、参考锚定位置重编码（RAPR）策略和一致性感知判别器。基于此框架，我们开发了一种一次性交互式人类虚拟形象模型，该模型能够生成自然流畅的说话和聆听行为，并伴有连贯的手势。大量实验表明，我们的方法达到了最先进的性能，在生成质量、实时效率和交互自然度方面都超越了现有方法。

unsetunset方法概述unsetunset

图片

  • 第一阶段：自回归蒸馏 原有的双向 DiT 被重新架构为块因果 DiT，随后进行分数身份蒸馏。引入参考接收器和参考锚定位置重编码 (RAPR) 以提高长期稳定性和一致性。

  • 第二阶段：对抗性改进 进一步改进模型，引入一致性感知判别器，以提高生成质量、一致性和稳定性。

图片

图片这是交互式人类视频生成教师模型的架构。在原有视频模型的基础上扩展了音频相关模块，以支持说话和听力音频训练。

unsetunset实验结果unsetunset

与最先进方法的比较

该模型与最先进的真人对话视频生成方法进行了比较，包括 Hallo3、混源视频虚拟化身 (HY-Avatar)、OmniAvatar、EchoMimicV3 和 StableVideo。该方法能够生成逼真且一致的虚拟化身，具有精确的同步性和丰富的运动动态，同时失真更少，而且所需的计算量也少得多。

图片

EchoMimicV2 测试数据集 (EMTD) 的定量结果

图片方法在所有指标上均取得了优异或极具竞争力的性能。还报告了在单个 H2O GPU 上生成 5 秒视频所需的去噪步骤数、分辨率和时间。方法比其他方法快得多。

图片用户偏好研究将该方法与基线方法在多个标准上进行了比较：音频-唇部同步（Sync）、运动动态（Dynamics）、时间连续性和流畅性（Continuity）、视觉质量和自然度（Quality）以及身份保持（Identity）。结果以“Ours% / Baseline%”的形式呈现，剩余百分比表示“无偏好”。方法在几乎所有比较中都始终优于最先进的基线方法，这与定量评估结果高度吻合。

感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～

图片

时间：
标签： , , , ,

没有评论:

发表评论

订阅： 博文评论 (Atom)

Krea 2 + Qianwen HDR ： Elevate AI Images to Premium Aesthetics

Krea 2 and Qianwen HDR workflow for high-end AI image aesthetics. Sign up with invite code rh-v1542 to receive 1000 RH币. Access the workflow...