英伟达开源OmniVinci：仅 9B 模型就拿下多模态冠军，开启全模态机器智能新纪元。

添加微信号：AIGC_Tech，公众号小助手会拉你进群！扫描下方二维码，加入AIGC Studio知识星球！

添加微信号：AIGC_Tech，公众号小助手会拉你进群！

扫描下方二维码，加入AIGC Studio知识星球！可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料！学习/科研/工作/副业，强烈推荐！

英伟达推出的OmniVinci开源全模态潜在逻辑模型，为提升机器智能跨模态感知能力带来新突破。该模型在架构上创新提出OmniAlignNet、时间嵌入分组、约束旋转时间嵌入三项关键技术，增强多模态嵌入对齐与时间信息编码。同时，引入数据整理和合成流程，生成大量对话数据。实验表明，不同模态相互促进，模型在多个跨模态任务上性能显著优于Qwen2.5-Omni，且训练样本量大幅减少。此外，还在机器人、医疗等下游应用中展现出全模态优势。

unsetunset相关链接unsetunset

• 模型：https://huggingface.co/nvidia/omnivinci
• 论文：https://arxiv.org/pdf/2510.15870
• 代码：https://github.com/NVlabs/OmniVinci

unsetunset介绍unsetunset

提升机器智能需要发展出跨多种模态的感知能力，就像人类感知世界一样。英伟达推出的 OmniVinci 旨在构建一个强大的开源全模态潜在逻辑模型 (LLM)。论文仔细研究了模型架构和数据整理方面的设计选择。在模型架构方面，提出了三项关键创新：

1. OmniAlignNet，用于在共享的全模态潜在空间中增强视觉和音频嵌入之间的对齐；
2. 时间嵌入分组，用于捕捉视觉和音频信号之间的相对时间对齐；
3. 约束旋转时间嵌入，用于在全模态嵌入中编码绝对时间信息。

论文引入了一个数据整理和合成流程，生成了 2400 万个单模态和全模态对话。发现在感知和推理过程中，不同模态之间相互促进。模型在 DailyOmni（跨模态理解）上的性能优于 Qwen2.5-Omni，提升幅度为 +19.05；在 MMAR（音频）上提升幅度为 +1.7；在 Video-MME（视觉）上提升幅度为 +3.9，而训练样本量仅为 0.2T，比 Qwen2.5-Omni 的 1.2T 减少了 6 倍。最后，我们在机器人、医疗人工智能和智能工厂等下游应用中展示了全模态优势。

unsetunset方法概述unsetunset

论文提出了一种全模态理解的基础模型。通过所提出的全模态对齐机制，将来自视觉、音频和文本模态的信息融合到一个统一的全模态标记序列中。

全模态字幕生成流程。视频被分割成 20 秒的片段。视觉和 音频字幕分别针对每个片段独立生成，但缺乏跨模态上下文，并且包含 错误的理解（模态特异性幻觉）。一个独立的 LLM 执行跨模态校正和 摘要，以生成准确的全模态字幕。

unsetunset实验结果unsetunset

训练数据在各种模态中的总体分布饼图，显示了图像（36%）、非语音声音（21%）、语音（17%）、全模态（15%）和视频（11%）的比例。

针对全模态对齐的消融研究。所提出的时间嵌入分组（TEG）、约束旋转时间嵌入（CRTE）和 OmniAlignNet 均能持续获得更优的平均性能。 跨模态的性能。

Omni 基准测试，包括视频音频数据集 Worldsense 和 Dailyomni，以及图像音频数据集 Omnibench。

OmniVinci展现出强大的视觉和听觉感知能力，能够处理单模态或多模态场景。该模型还支持音频提示和输出。

unsetunset结论unsetunset

OmniVinci 是一个旨在构建全模态 LLM 的系统性方案，它能够联合感知图像、视频、音频和文本。论文讨论了包括 OmniAlignNet、时间嵌入分组和约束旋转时间嵌入在内的架构创新，并结合了增强的数据和训练方案。OmniVinci 展现了前沿的全模态性能，降低了训练和推理成本，并改进了下游智能体应用。

感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～