2026年6月2日星期二

免费AI视频模型Omni支持增删改人物一致比Seedance2。0强

Omni是一款免费AI视频模型,支持视频元素的增加删除修改、超真实人物一致性角色、AI对话及带货短剧生成。无需复杂工作流,简单提示词即可替换背景或物品。适用AI视频创作者与营销人员,智能体目前可无限使用注意仅50初始积分。

Tags:

为什么我说,这是我见过AI视频领域,最牛的模型。

我只想替换AI视频的背景,结果换了个寂寞,我只想删除其中人物,结果,没删反增,我只想改掉其中文字,结果不仅没改,反而改掉重要元素,这种问题,是不是正在发生?

要么是用复杂的工作流,要么是是P掉在合成,要么是重新生成,浪费更多的积分,但现在,不需要了。

所以,它就是:Omni,地址会放在评论区,需要的留言,我会逐一回复。

图片
又是被催更的一篇,这几天我都快忘了更新,基本上倒头就睡,凌晨五点半的太阳,你们追逐过?我不止追过,还对着它狂吐。
大家多多支持下船长,动动小手,点个爱心,点个转发,点个关注,感谢。
我们来看案例:这是替换视频中某个很小的物品,我只给了它一句提示。

不改变任何元素,将此视频中的手持产品,替换为:电脑鼠标,这鼠标感觉有点大,问题应该是没有参考,大家尝试时可以给它个参考。

我这里,是完全没给参考,随机发挥,小小失误,不成敬意。

感觉这视频从以前的拼像素,到现在的能懂物理世界,之前可能需要喂大量的视频素材给到模型,生成时去匹配视频。
这点,就有明显的好处,反而写提示词时不需要很复杂,只需要简单一句话,模型本身能理解物理的规律,从而生成,这就变相解决了过去AI视频中,常见的,人物变形,光影,物体,运动等不自然的问题。
再来个案例,替换视频背景,那句台词,咋说来着,“妈妈再也不用担心我的学习了”这里借用下台词,只要有手就行。

这应该属于必备技能,大部分人在AI视频创作中少不了修改,尤其是在有案例视频,通常只需要调整部分就能用,比如说,在企业中大量介绍视频案例中,可能只需要修改部分内容, 直接用就行。
或者是产品培训,营销短片,包括做些教育动画讲解,只需要替换部分场景直接输出即可,当然,这还不是最强,只能说方便。
本次内容,是不是到此结束了?船长大招还没放,AI带货,和短剧视频,包括真实的人物一致性,来,进入正题。

这视频,就说真实不真实吧?语言有点问题:可以指定,说中文即可,可能生成有点语调有点怪怪的,因为是用了它默认的语气库,还能实现多人对话。

接下来:就是喂饭式教学了,来,板凳坐好。
1:先登录注册,这个没什么好说,根据提示注册就好。
2:那么注册好后:点击创建新的项目。
图片
之后,可能很多人到这一步就懵了,右侧是Agent对话,你可以在这里对话修改内容,也可以上传在对话中,输入提示词等。
图片
那有人说,我不想用怎么办?那你关闭就行,之后点击下智能体,置灰后,会选择视频和模型。
图片
那有用过的就说了,我只有50积分,怎么办?对,没错,只有50,这里要注意,用智能体,目前可以无限,当然也不敢肯定,我生成差不多5个,没测出来上限,可以自行尝试。
如果智能体,可以修改视频,和编辑视频,以上案例都是通过此类操作,比如说这个,或者
图片
或者替换背景,都是从对话中替换,只需要上传一个视频即可。
那么多人对话怎么生成的?需要用到角色,点击新建就行。
图片
这里有个注意点:一定要从项目里添加,并且上传你的角色图。
图片
这样能直接生成人物三视图,只需要点击个加号,之后输入名称和选择音色。
图片
那么这样的一个角色创建好了,那么多人怎么办?重复我这个操作,最后在对话里,@出人物就行,并且输入台词。
图片
教程到此结束,超级简单,想象一下,如果AI视频能随意修改,不再是遥不可及,还要什么某梦?只要能生成视频的模型,不行就改,这算弯道超车?
看到这里:留下你的关注,如果觉得不错,点个赞,推荐,转发三连。想进群的船员,可以打赏下,之后私我拉你。

美团复旦联合发布WBench 首个交互式视频世界模型权威基准 20个AI模型大乱斗无全能

美团LongCat团队与复旦大学联合开源WBench,首个交互式视频世界模型多轮评测基准。覆盖289个测试案例、1058轮交互,从视频质量、场景一致性、交互合规等5大维度22项指标量化评估。自动评分与人类偏好高度一致(相关系数≥0.94)。评测显示Kling 3.0、Wan、HY-World等20个模型各有短板,无一全能。适合AI研究者、开发者进行模型诊断与选型。

Tags:

点击下方名片关注AIGC Studio公众号获取最新AI前沿应用/AIGC实践教程

视频世界模型(Interactive Video World Model)正在爆发式增长—Kling、Wan、Genie、Happy Oyster……名字越来越多,但到底谁强谁弱?目前没有一个统一的标准来回答这个问题。

近日,美团 LongCat 团队联合复旦大学正式开源 WBench—国内首个、全球最全面的交互式世界模型多轮评测基准,直接补齐行业最大短板。

简单说:WBench = 世界模型的 “高考卷 + 体检报告”。而结论可以总结为一句话:没有任何一个模型能在所有维度上称王。

图片

unsetunsetWBench是什么?unsetunset

图片

WBench 包含 289 个测试案例、1058 轮交互,覆盖导航、动作、事件编辑、视角切换四大交互类型,从视频质量、场景一致性、交互合规、时序稳定、物理合理性 5 大维度,用 22 个人类验证指标完成量化评估。

总结来说,WBench不是让AI生成一段视频就完了,而是测它能不能"玩转"一个交互世界。达到这个目标则至少要做到五件事:

  • 画面好看、稳定、不闪(渲染器)
  • 不乱改场景、不乱变风格、不乱换主体(导演)
  • 听得懂指令、走得准路线、做得出动作(控制器)
  • 多轮交互不失忆、空间不乱、主体不变形(记忆系统)
  • 符合物理、因果合理、不悬浮、不穿模(物理引擎)

WBench 直接将这五件事转化为可量化的指标,并实现与人类偏好高度一致的全自动化打分。WBench 是目前最接近真实应用场景、最公平、最可信的世界模型评测基准。

unsetunsetWBench 评测结果unsetunset

那么在WBench评测基准下目前市面上的各个模型表现如何呢? 结论就是:没有一个模型在所有维度上都占据绝对优势。下面我们给大家举一些示例:

  1. Kling 3.0 总分第一,但一致性拉垮;HY-Video 一致性文本模型中最强,但交互能力不行;Happy Oyster / HY-World 导航无敌,但视频质量偏低。

  2. YUME 1.5 导航得分72.0(最高),但事件编辑只有57.8,视角切换更是只有16.7(接近垫底)。反过来,Wan 2.7 事件编辑84.0、角色动作83.4,导航却只有66.0。

  3. 基于摄像机控制的世界模型(如 InSpatio、LingBot 和 HY-World)能够实现较高的视角一致性和导航性能,但基于动作控制的模型(如 Genie 3、Happy Oyster 和 MatrixGame)在 perspective consistency 方面表现更佳。这两种控制范式是正交的。

  4. 视频质量更高的模型往往能产生更符合物理规律的输出(相关系数ρ=0.82),而控制能力(导航、交互)与物理评分的相关性接近于零,这表明物理规律的产生源于视觉保真度,而非对世界的理解。

  5. 导航精度从第一轮到第四轮下降了21个百分点,这是由于误差在各轮交互中不断累积所致。专用世界模型(HY-World)的性能下降幅度远小于基于文本的模型(Kling 3.0),这表明显式几何控制比基于文本的提示更能有效地保持空间状态。图片

unsetunset数据规模与可信度unsetunset

数据集示例
数据集示例
WBENCH 数据集在八个维度上的构成
WBENCH 数据集在八个维度上的构成
图片
  • 规模:289 个案例,4 种互动类型,6 个场景类别,5 种主体类型。
图片
  • 自动评分:经过人类偏好验证:对 400 名众包标注进行双盲对比测试,十个评测方面的 Spearman 相关系数均 ≥ 0.94,其中四项达到 1.00,证明自动打分指标和人类偏好在模型排序层面高度一致。

unsetunset评测结果unsetunset

视频画质、场景跟随、交互控制、物理逻辑…… 五大维度全面横评,不同架构模型的能力分化特征十分明显。

图片

文本驱动模型在场景遵循、物理合理性上表现突出,相机与动作控制模型则更擅长导航任务,各类模型均存在明显能力偏向。视角切换是全行业共性难题。相机控制模型几何一致性优异,但动态场景下视角稳定性不足,运动强度与画面一致性呈负相关。整体来看,通用生成先验相比专项控制训练,更有助于模型还原真实物理规则。

你以为控制相机就能控制一切?不是的。控制相机和控制主体,是两条独立的路线。

  • 相机驱动模型(InSpatio、LingBot、HY-World)→ 视角一致性强、导航强
  • 动作驱动模型(Genie 3、Happy Oyster、MatrixGame)→ 视角切换更好
  • 在适当的架构和训练选择下,开源系统在特定功能上可以达到甚至超越闭源系统。图片

unsetunset结论unsetunset

WBench 不只是评估视频的生成质量,它还能够评估世界模型是否能在多轮交互中持续维护一个可控、一致、符合物理逻辑的世界。

整体而言,WBench 为交互式世界模型领域搭建起一套完整、客观的评测体系。

  • 对模型研究:  WBench 等于提供了一个系统化的诊断工具,可以让人看清模型到底失败在哪个能力维度。

  • 对模型开发: WBench 可用于定位模型训练短板,例如控制能力、长期记忆、主体一致性、物理因果、视角切换等。

  • 对企业用户: WBench 则有助于在不同业务场景下做模型选型。

WBench 不止是一套评测工具,更是行业发展的“指南针”。研发、落地两大场景都能发挥重要作用。现阶段各类模型能力分化明显,短板问题突出,而基准本身也存在可优化方向。相信随着持续更新迭代,它会持续推动交互式世界模型走向更成熟、更标准化的新阶段。

unsetunset相关链接unsetunset

  • 论文https://huggingface.co/papers/2605.25874
  • 主页: https://meituan-longcat.github.io/WBench
  • 代码: https://github.com/meituan-longcat/WBench
  • 权重:https://huggingface.co/meituan-longcat/WBench-weights
  • 数据集: https://huggingface.co/datasets/meituan-longcat/WBench

免费AI视频模型Omni支持增删改人物一致比Seedance2。0强

Omni是一款免费AI视频模型,支持视频元素的增加删除修改、超真实人物一致性角色、AI对话及带货短剧生成。无需复杂工作流,简单提示词即可替换背景或物品。适用AI视频创作者与营销人员,智能体目前可无限使用注意仅50初始积分。 Tags: AI视频模型 免费AI工具 视频编...