魔芯科技与浙大潘云鹤团队推出全球首个全栈国产NPU打造的实时交互式世界模型MoWorld，支持自由相机控制与长时序稳定视频生成，无漂移。14B MoE模型最高50FPS推理，综合成本仅为传统GPU方案的30%至50%，适用于数字孪生、云游戏、影视预演等场景，已开源论文与主页。
Tags:
首个面向NPU的实时交互世界模型，从训练、推理到部署全流程基于国产化平台构建，实现高帧率、低成本、可连续控制的视频世界生成。
当下主流交互式世界模型大多依赖高端 NVIDIA GPU，实时推理帧率普遍停留在 5 至 10FPS，难以支撑流畅人机操控，同时训练、部署算力成本居高不下，极大限制数字孪生、虚拟漫游、具身仿真的规模化落地。魔芯科技联合浙江大学潘云鹤院士团队推出 MoWorld，全球首款全栈基于国产 NPU 打造的实时交互式世界模型，也是业内首个 Flash World Model。依托可扩展数据管线、课程化跨帧预训练、轻量化蒸馏与 NPU 专属并行推理架构，该 14B MoE 模型最高实现 50FPS 高速推理，推理综合成本仅传统 GPU 方案的 30%-50%。整套技术从训练、蒸馏到终端部署完整适配国产算力，支持自由相机控制、长时序稳定视频生成，在图生视频、可控世界模拟多项基准测试取得亮眼效果，为国产算力生态落地 4D 世界模型打开全新产业化路径。
应用场景
室内场景重建：使用 MoWorld 生成的视频进行室内场景重建，目标精细度高，重建稳定，空间一致性好。
实时云游戏体验：通过连续相机控制探索生成世界，支撑低延迟漫游、镜头控制和交互式内容体验。
影视级镜头预演：面向大场景、真实光照与导演级镜头，快速生成可用于分镜、预演和概念验证的视频世界。
相关链接
论文：https://arxiv.org/pdf/2607.06216 主页：https://moxin-tech.github.io/moworld
数据引擎
MoWorld 的训练数据覆盖真实世界（室内、驾驶等）与虚拟世界（游戏、动漫、科幻电影等）多种场景，兼顾丰富性与泛化能力。同时，通过 3D 几何一致性、轨迹精度、多视图稳定性等多维质量筛选，以及几何补全、动态区域过滤和轨迹验证等关键流程，从海量数据中筛选出高质量训练资产，为 MoWorld 的低成本、高性能训练提供了坚实的数据基础。
实时推理
MoWorld 将实时推理问题分解为三个层级协同优化：流水线层、并行层与算子层，在资源受限场景实现显存高效利用，容纳庞大的模型参数、通信缓冲与推理状态；同时压缩端到端时延，将用户控制信号实时反映到生成帧中，并以流式方式持续输出。
在 MoWorld 预训练阶段，Wan2.2 MoE 视频基础模型在 NPU 集群上进行训练，并采用序列并行（SP）技术，将注意力头或输入 Token 分布到不同设备上，以实现可扩展的长序列学习。该模型结合了初始帧、文本和相机几何信息作为联合条件，从而支持视频生成长度从 125 帧到 2000 帧的渐进式扩展。其中，N 表示不同阶段的 NPU 组数量，且满足 NH ≪ NT。
在 MoWorld 的蒸馏阶段，采用统一的潜在空间蒸馏目标将推理步数从 50 步压缩至 4 步，同时将双向 DiT 架构重构为自驱动因果 DiT，以实现高效的自回归生成。
实验结果
结论
MoWorld 是一款高性能且高性价比的世界模型，专用于交互式视频生成及支持摄像机控制的世界模拟。在性能方面，MoWorld 通过可扩展的数据构建、课程化跨帧预训练、高效蒸馏以及低显存低延迟的并行推理技术，显著提升了可控性、长时序一致性及实时推理效率。在成本方面，MoWorld 在有限显存预算下利用课程化长视频预训练和高效去噪步数蒸馏技术，降低了训练与部署成本，同时实现了跨不同 NPU 算力等级的实时提示词交互。MoWorld 是首个基于 NPU 生态构建的实时交互式视频世界模型。通过在算子、并行策略及流水线层面进行系统级协同设计，MoWorld 支持 14B 参数规模 MoE 世界模型的预训练、蒸馏与推理，实现了高达 50 FPS 的实时推理速度，将平均推理成本降至现有世界模型的 30%–50%，并在“图生视频”及“摄像机可控世界模型”等基准测试中表现优异。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论