美团LongCat团队发布基于13.6B参数DiT架构的开源数字人框架LongCat-Video-Avatar 1.5。采用Whisper音频编码、逐帧GRPO优化和DMD2八步蒸馏，解决唇形错位、人脸漂移、多人干扰问题。经770名评测者盲测，在时序稳定性和音画协调性上优于HeyGen与OmniHuman。MIT协议开源，支持商用二次开发，适用新闻播报、唱歌、多人访谈等场景。
Tags:
传统音频数字人普遍唇形错位、长视频人脸漂移、多人画面错乱，美团 LongCat-Video-Avatar 1.5 靠三大技术升级一次性解决！
2026年5月，美团 LongCat 团队正式发布了 LongCat-Video-Avatar 1.5。作为一款基于 13.6B 参数 Dense DiT 架构的生产级数字人框架，该模型不仅支持新闻播报、唱歌、多人互动等复杂场景，还能完美泛化至动漫、动物等非写实风格。 在涵盖 508 组测试数据、770 名评测者的大规模盲测中，LongCat-Avatar 1.5 与 HeyGen、OmniHuman 1.5、可灵 Avatar 2.0 等顶尖闭源商业方案正面对决，取得了极具竞争力的表现。而且项目采用 MIT 协议，目前论文、模型、代码已经开源。
相关链接
论文：https://arxiv.org/pdf/2605.26486 主页：https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/ 代码：https://github.com/MeiGen-AI/LongCat-Video-Avatar-1.5-Page 模型：https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5 试用：https://www.longcatai.net/longcat-avatar-1-5
论文介绍
本文发布 LongCat-Video-Avatar 1.5 商用级开源音频驱动数字人框架，基于 13.6B DiT 视频底座，放弃花哨架构创新，聚焦工程落地与真实场景稳定性。核心三大改进：替换 Wav2Vec2 为 Whisper-Large 提取细粒度语音特征；提出逐帧 GRPO 优化，针对性修复手部畸形、表情不协调；采用 DMD2 分布匹配蒸馏实现 8 步极速生成。团队搭建分层标注数据集，覆盖单人、多人、演唱、动画多场景，构建包含 508 组样本的 EvalTalker 评测集，通过 770 名大众用户与专业专家双维度测试。对比 HeyGen、OmniHuman、Kling Avatar 等主流方案，在时序稳定性、人物身份一致性、音画协调性上具备竞争优势，全套资源 MIT 开源，支持商用二次开发。
二、方法概述
1、全链路多级数据流水线
分为离线标注 + 在线分片校验两大阶段：离线提取人脸、人体、音频同步、情绪、镜头五大结构化标签；在线逐片段过滤模糊、跳帧、音画错位素材。额外搭建专属多人、静默、情绪数据集，采用 ByteTrack 人体追踪、多模态双校验过滤杂乱样本，保证训练素材时序连贯、动作自然。
2、Whisper-Large 音频编码升级
弃用旧版 Wav2Vec2，采用 1.5B 参数 Whisper-Large 提取 50Hz 高细粒度语音特征，捕捉音素、语速、情绪韵律，线性插值对齐视频 25FPS 帧率，从根源解决快唱、长句下嘴唇滞后、动作僵硬问题。
3、逐帧 GRPO 人类偏好优化
区别整段视频奖励，将奖励拆分至每一时序片段，优先提升手部、面部样本权重，专门抑制肢体扭曲、五官漂移；区分单人、双人场景，为多人物新增静音音频分支，避免背景人物乱张嘴，大幅提升多人对话自然度。
4、DMD2 八步蒸馏加速
原始扩散 50 步推理成本极高，采用 DMD2 分布匹配蒸馏，共用一套 DiT 主干切换 LoRA 区分生成 / 打分模块，推理步数压缩至 8 步，速度提升约 15 倍；配套 INT8 量化，大幅降低 GPU 显存占用，支持单卡、多卡并行推理。
5、多人物双音频机制
支持 Merge 同步双人语音、Concatenation 先后对话两种模式，通过人脸框区分目标说话人与背景角色，背景人物绑定静音音频条件，解决多人同框面部动作互相干扰的问题。
三、实验结果
标准化评测基准：自建 508 组多场景测试集，覆盖写实 / 动漫、单人 / 多人、播报 / 演唱，770 名用户完成 13240 份主观打分。 四大核心指标领先：专家维度时序稳定性、人物身份一致性、物理合理性、音画协调性四项缺陷率全面低于 Kling Avatar 2.0、OmniHuman 1.5、HeyGen；人工偏好 A/B 测试中多数用户选择 LongCat 1.5。 版本迭代提升明显：对比 v1.0，唇同步精度大幅提升，支持动漫 / 动物生成，新增多人交互，INT8 量化降低硬件门槛。 推理性能：原生 8 步蒸馏推理，生成速度提升 15 倍；支持 480/720P、30fps 输出，双 H800 最优，单卡、Mac MLX 可运行。 场景泛化能力：稳定适配电商主播、知识讲解、歌唱表演、二次元短片、多人访谈五大类复杂画面，长时间视频无身份漂移、色彩渐变。
结论
LongCat-Video-Avatar 1.5 的发布，标志着开源数字人框架正式迈入“生产级”时代。美团团队没有盲目追求架构上的花哨创新，而是将精力倾注于数据工程、对齐训练与推理加速等真正决定落地体验的“硬核工程”上。从 Whisper 带来的精准口型，到 8 步蒸馏带来的极速推理，再到 RLHF 赋予的泛化能力，1.5 版本用实力证明了开源模型完全具备在商业场景中与闭源巨头掰手腕的能力。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论