Omni是一款免费AI视频模型,支持视频元素的增加删除修改、超真实人物一致性角色、AI对话及带货短剧生成。无需复杂工作流,简单提示词即可替换背景或物品。适用AI视频创作者与营销人员,智能体目前可无限使用注意仅50初始积分。
Tags:
不改变任何元素,将此视频中的手持产品,替换为:电脑鼠标,这鼠标感觉有点大,问题应该是没有参考,大家尝试时可以给它个参考。
我这里,是完全没给参考,随机发挥,小小失误,不成敬意。
不改变任何元素,将此视频中的手持产品,替换为:电脑鼠标,这鼠标感觉有点大,问题应该是没有参考,大家尝试时可以给它个参考。
我这里,是完全没给参考,随机发挥,小小失误,不成敬意。
视频世界模型(Interactive Video World Model)正在爆发式增长—Kling、Wan、Genie、Happy Oyster……名字越来越多,但到底谁强谁弱?目前没有一个统一的标准来回答这个问题。
近日,美团 LongCat 团队联合复旦大学正式开源 WBench—国内首个、全球最全面的交互式世界模型多轮评测基准,直接补齐行业最大短板。
简单说:WBench = 世界模型的 “高考卷 + 体检报告”。而结论可以总结为一句话:没有任何一个模型能在所有维度上称王。
WBench 包含 289 个测试案例、1058 轮交互,覆盖导航、动作、事件编辑、视角切换四大交互类型,从视频质量、场景一致性、交互合规、时序稳定、物理合理性 5 大维度,用 22 个人类验证指标完成量化评估。
总结来说,WBench不是让AI生成一段视频就完了,而是测它能不能"玩转"一个交互世界。达到这个目标则至少要做到五件事:
WBench 直接将这五件事转化为可量化的指标,并实现与人类偏好高度一致的全自动化打分。WBench 是目前最接近真实应用场景、最公平、最可信的世界模型评测基准。
那么在WBench评测基准下目前市面上的各个模型表现如何呢? 结论就是:没有一个模型在所有维度上都占据绝对优势。下面我们给大家举一些示例:
Kling 3.0 总分第一,但一致性拉垮;HY-Video 一致性文本模型中最强,但交互能力不行;Happy Oyster / HY-World 导航无敌,但视频质量偏低。
YUME 1.5 导航得分72.0(最高),但事件编辑只有57.8,视角切换更是只有16.7(接近垫底)。反过来,Wan 2.7 事件编辑84.0、角色动作83.4,导航却只有66.0。
基于摄像机控制的世界模型(如 InSpatio、LingBot 和 HY-World)能够实现较高的视角一致性和导航性能,但基于动作控制的模型(如 Genie 3、Happy Oyster 和 MatrixGame)在 perspective consistency 方面表现更佳。这两种控制范式是正交的。
视频质量更高的模型往往能产生更符合物理规律的输出(相关系数ρ=0.82),而控制能力(导航、交互)与物理评分的相关性接近于零,这表明物理规律的产生源于视觉保真度,而非对世界的理解。
导航精度从第一轮到第四轮下降了21个百分点,这是由于误差在各轮交互中不断累积所致。专用世界模型(HY-World)的性能下降幅度远小于基于文本的模型(Kling 3.0),这表明显式几何控制比基于文本的提示更能有效地保持空间状态。
视频画质、场景跟随、交互控制、物理逻辑…… 五大维度全面横评,不同架构模型的能力分化特征十分明显。
文本驱动模型在场景遵循、物理合理性上表现突出,相机与动作控制模型则更擅长导航任务,各类模型均存在明显能力偏向。视角切换是全行业共性难题。相机控制模型几何一致性优异,但动态场景下视角稳定性不足,运动强度与画面一致性呈负相关。整体来看,通用生成先验相比专项控制训练,更有助于模型还原真实物理规则。
你以为控制相机就能控制一切?不是的。控制相机和控制主体,是两条独立的路线。
WBench 不只是评估视频的生成质量,它还能够评估世界模型是否能在多轮交互中持续维护一个可控、一致、符合物理逻辑的世界。
整体而言,WBench 为交互式世界模型领域搭建起一套完整、客观的评测体系。
对模型研究: WBench 等于提供了一个系统化的诊断工具,可以让人看清模型到底失败在哪个能力维度。
对模型开发: WBench 可用于定位模型训练短板,例如控制能力、长期记忆、主体一致性、物理因果、视角切换等。
对企业用户: WBench 则有助于在不同业务场景下做模型选型。
WBench 不止是一套评测工具,更是行业发展的“指南针”。研发、落地两大场景都能发挥重要作用。现阶段各类模型能力分化明显,短板问题突出,而基准本身也存在可优化方向。相信随着持续更新迭代,它会持续推动交互式世界模型走向更成熟、更标准化的新阶段。
Omni是一款免费AI视频模型,支持视频元素的增加删除修改、超真实人物一致性角色、AI对话及带货短剧生成。无需复杂工作流,简单提示词即可替换背景或物品。适用AI视频创作者与营销人员,智能体目前可无限使用注意仅50初始积分。 Tags: AI视频模型 免费AI工具 视频编...