上海交大与Sand.ai开源数字人模型MagiHuman，采用15B参数单流Transformer，可同步生成音视频。支持中英日韩德法等多语言，单张H100 GPU上38秒生成5秒1080p视频。人工评测对比Ovi 1.1胜率80%，基础模型与推理代码全开源。
Tags:
由上海交大 GAIR 实验室（SII-GAIR）与 Sand.ai 联合开源，用一套 15B 参数、40 层的单流 Transformer，把文本、视频、音频放在同一个序列里联合去噪，一次性吐出"会说话的视频"——画面里的人嘴型、表情、肢体动作，和同步的原声是对齐生成的，而不是先出画面再后期配音。
单流Transformer——一个统一的150亿参数、40层的Transformer模型，仅通过自注意力机制联合处理文本、视频和音频。无需交叉注意力机制，也无需多流处理。 卓越的以人为本的品质——富有表现力的面部表情、自然的语音表达协调、逼真的身体动作以及准确的音视频同步。 多语言支持——支持中文（普通话和粤语）、英语、日语、韩语、德语和法语。 超快推理——在单个 H100 GPU 上，可在2 秒内生成 5 秒 256p 视频，在38 秒内生成5 秒 1080p 视频。 最先进的结果——在超过 2,000 次的成对人工评估中，与 Ovi 1.1 的胜率达到80.0% ，与 LTX 2.3 的胜率达到60.9% 。 完全开源——基础模型、精炼模型、超分辨率模型和推理代码全部开源
相关链接
论文：https://arxiv.org/abs/2603.21986 代码：https://github.com/GAIR-NLP/daVinci-MagiHuman 模型：https://huggingface.co/GAIR/daVinci-MagiHuman 试用：https://huggingface.co/spaces/SII-GAIR/daVinci-MagiHuman
论文介绍
daVinci-MagiHuman，这是一个面向以人为中心（human-centric）生成任务的开源音视频生成基础模型。daVinci-MagiHuman 采用单流 Transformer 架构，仅利用自注意力机制（self-attention）在统一的 Token 序列中处理文本、视频和音频，从而实现音视频的同步生成。这种单流设计避免了多流或跨注意力（cross-attention）架构的复杂性，同时便于利用标准的训练与推理基础设施进行优化。该模型在以人为中心的生成场景中表现尤为出色，能够呈现富有表现力的面部动作、自然的语音与表情协调、逼真的肢体动作以及精准的音视频同步效果。它支持多种语言的语音生成，涵盖中文（普通话和粤语）、英语、日语、韩语、德语和法语。
为了实现高效推理，我们将单流主干网络与模型蒸馏、潜在空间超分辨率技术及 Turbo VAE 解码器相结合，使得在单张 H100 GPU 上仅需 2 秒即可生成 5 秒长的 256p 视频。在自动评估中，daVinci-MagiHuman 在主流开源模型中展现出最高的视觉质量和文本对齐度，同时在语音可懂度方面实现了最低的词错误率（14.60%）。在成对的人工评估中，经过 2000 组对比测试，该模型的胜率分别达到 80.0%（对比 Ovi 1.1）和 60.9%（对比 LTX 2.3）。我们现已开源完整的模型技术栈，包括基础模型、蒸馏模型、超分辨率模型以及推理代码库。
方法概述
整体架构。 (a) 基础生成器接收文本标记（tokens）、参考图像的潜在表示（latent）以及带噪声的视频和音频标记作为输入，并利用单流 Transformer 对视频和音频标记进行联合去噪。所有模态均在统一的标记序列中仅通过自注意力机制进行处理，无需单独的交叉注意力或融合模块。此外，还可采用潜在空间超分辨率阶段，以在更高输出分辨率下对生成的视频进行精细化处理。(b) 单流 Transformer 采用“三明治”式架构布局：首尾各 4 层使用模态特定的投影和归一化参数，而中间 32 层则跨模态共享主要的 Transformer 参数。每个模块在注意力计算中采用逐头门控（per-head gating）机制，且模型不包含显式的时间步嵌入（timestep embedding）。
实验结果
定量质量基准
人工评估（2000 次成对比较）
推理速度（5 秒视频，单块 H100 GPU）
使用教程
Docker 一键部署
# Pull the MagiCompiler Docker image
docker pull sandai/magi-compiler:latest
# Launch container
docker run -it --gpus all \
-v /path/to/models:/models \
sandai/magi-compiler:latest bash
# Install MagiCompiler
git clone https://github.com/SandAI-org/MagiCompiler
cd MagiCompiler
pip install -e . --no-build-isolation --config-settings editable_mode=compat
cd ..
# Clone daVinci-MagiHuman
git clone https://github.com/GAIR-NLP/daVinci-MagiHuman
cd daVinci-MagiHuman
Conda 本地安装
conda create -n davinci-magihuman python=3.12
conda activate davinci-magihuman
conda install ffmpeg
pip install torch==2.10.0 torchvision==0.25.0 torchaudio==2.10.0
# 安装 MagiCompiler（SandAI-org/MagiCompiler）+ flash-attention 后
git clone https://github.com/GAIR-NLP/daVinci-MagiHuman
cd daVinci-MagiHuman
pip install -r requirements.txt
pip install --no-deps -r requirements-nodeps.txt感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论