2025年5月30日星期五

Google DeepMind 发布最强视频生成工具 Veo 3, 可为作品添加音效、环境噪音、对话,文中附体验链接。

今天跟大家介绍谷歌的视频生成模型 Veo 3,可为作品添加音效、环境噪音甚至对话,所有音频均可原生生成。




今天跟大家介绍谷歌的视频生成模型 Veo 3,可为作品添加音效、环境噪音甚至对话,所有音频均可原生生成。它还能提供一流的音质,在物理效果、真实感和快速响应方面均表现卓越。

图片

相比 Veo2 的改变

Veo 3 在 Veo 2 的基础上扩展了很多新的能力,包括:参考图视频生成、参考风格视频生成、参考目标视频生成、相机控制视频生成、首尾帧视频生成、视频外扩、视频编辑等等

图片

效果展示

视频与音频结合。

veo 3 可以赋能电影制作人和故事讲述者。

提示:中景镜头捕捉一位老水手,他蓝色的针织水手帽在他眼前投下阴影,浓密的灰白胡须遮住了他的下巴。他一手拿着烟斗,指向船栏杆外翻腾的灰色大海。"这片海洋,是一股力量,一股狂野、未驯服的力量。她让你敬畏,伴随着每一道破晓的光芒。"

添加音效、环境噪音、对话

提示:一只睿智的老猫头鹰在高空翻翔,透过森林上方月光下的云层窥视。这只睿智的老猫头鹰小心翼翼地绕着空地盘旋,环顾着森林的地面。片刻之后,它俯冲到月光下的小路上,停在一只獾旁边。

音频:翅膀拍打声、鸟鸣声、响亮而悦耳的风沙声,以及断
断续续的嗡嗡声、树枝在脚下折断的声音和呱呱的叫声。这是一段轻快的管弦乐,木管乐器贯穿始终,节奏欢快乐观,充满天真无邪的好奇心。

一只睿智的老猫头鹰和一只紧张的獾坐在月光下的林间小路上。"它它们今天留下了一个......一个球。它弹得比我跳得还高。
"
獾结结巴巴地说道,努力想理理解这句话的意思。
"这是什么魔法?"猫头鹰若有所思地鸣叫着。

音频:猫头鹰的鸣叫声,獾紧张的鸣叫声,树叶的沙沙声,蟋蟀的鸣叫声。

一只睿智的老猫头鹰飞出了画框,一只紧张的小獾朝另一个方向跑了出去。背景中,一
只松鼠匆匆而过,发出刮擦干枯秋叶的沙沙声。

音频:鸟鸣声、响亮的落叶沙沙声,以及断断续续的嗡嗡声、树枝在脚下折断的声音,还有松鼠在干枯的落叶间穿梭的声音。远处传来猫头鹰的鸣叫声、獾紧张的鸣叫声、树叶的沙沙声、蟋蟀的鸣叫声,这些声音
充满了天真好奇的气息。

专为更好的控制而设计

Veo 3 具有更出色的快速跟踪功能,可以更准确地跟踪一系列动作和场景。

提示:一根纤细的羽毛搁在栅栏柱上。一阵风吹来,它飞舞在屋顶上。它飘浮旋转,最终被高高的阳台上的蜘蛛网缠住。

相关链接

  • 体验链接:https://veo3.ai/Flow
  • 链接:https://labs.google/flow/about
  • 主页:https://deepmind.google/models/veo/

基准测试

Veo 3 在人类评分者对顶级视频生成模型的输出进行正面比较时取得了最先进的成果。

T2V 总体偏好

参与者在 Meta 发布的基准数据集 MovieGenBench 上观看了 1,003 个提示和相应的视频。Veo 3 在整体偏好方面表现最佳。
参与者在 Meta 发布的基准数据集 MovieGenBench 上观看了 1,003 个提示和相应的视频。Veo 3 在整体偏好方面表现最佳。

T2V 文本对齐

参与者在 Meta 发布的基准数据集 MovieGenBench 上观看了 1,003 个提示和相应的视频。Veo 3 在准确遵循提示的能力方面表现最佳。
参与者在 Meta 发布的基准数据集 MovieGenBench 上观看了 1,003 个提示和相应的视频。Veo 3 在准确遵循提示的能力方面表现最佳。

T2V视觉质量

参与者在 Meta 发布的基准数据集 MovieGenBench 上观看了 1,003 个提示及其对应的视频。参与者对 Veo 输出的视觉质量评价高于其他模型。
参与者在 Meta 发布的基准数据集 MovieGenBench 上观看了 1,003 个提示及其对应的视频。参与者对 Veo 输出的视觉质量评价高于其他模型。

限制

尽管 Veo 在视频生成领域不断取得令人瞩目的进步,但如何制作自然一致的语音视频(尤其是较短的语音片段)仍是一个亟待开发的领域。我们正持续改进音频同步,并消除语音不连贯的情况。

感谢你看到这里,也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术,欢迎一起交流学习💗~


没有评论:

发表评论

微软再放LLM量化大招!原生4bit量化,成本暴减,性能几乎0损失

点击下方 卡片 ,关注" AI生成未来 " 如您有工作需要分享,欢迎联系: aigc_to_future 转载自:新智元 如有侵权,联系删稿 还没过几天,原班人马带着第二代BitNet v2来了! 这次性能几乎0损失,但占用内存和计算成本显著降低! 论文链...