AI I024: 蚂蚁推出Ming-Omni：图像、文本、语音三模态无缝融合，一网打尽复杂任务！

Ming-lite-omni 是 Ming-omni 的轻量版本，源自 Ling-lite，具有28亿激活参数

Ming-lite-omni 是 Ming-omni 的轻量版本，源自 Ling-lite，具有28亿激活参数。Ming-lite-omni 是一个统一的多模态模型，能够处理图像、文本、音频和视频，并在语音和图像生成方面表现出强大的能力。

主要特点

统一全模态感知: Ming-lite-omni 基于 Ling 构建，后者是一种 MoE 架构的 LLM，通过模态特定的路由器解决任务冲突，并确保来自不同模态的令牌能够连贯地整合。
统一感知与生成: Ming-lite-omni 实现了统一的理解和生成能力，使模型能够在生成过程中解释多模态指令和用户意图，这有助于提高生成质量并增强在多个任务中的可用性。
创新生成能力: Ming-lite-omni 能够感知所有模态，并同时生成高质量文本、实时语音和生动图像，从而在包括图像感知、视听交互和图像生成在内的多样化任务中提供卓越的跨模态性能。

统一智能，丰富应用

生成和理解，一体化模型

论文阅读

论文提出的 Ming-Omni是一个统一的多模态模型，能够处理图像、文本、音频和视频，同时在语音和图像生成方面表现出色。Ming-Omni 采用专用编码器从不同模态中提取 token，然后由 Ling（一种配备了新提出的模态专用路由器的 MoE 架构）进行处理。这种设计使单个模型能够在统一的框架内高效地处理和融合多模态输入，从而简化了各种任务的执行，而无需单独的模型、针对特定任务进行微调或结构重新设计。

更重要的是，Ming-Omni 超越了传统的多模态模型，支持音频和图像生成。这是通过集成用于自然语音的高级音频解码器和用于高质量图像生成的 Ming-Lite-Uni 来实现的，这还使模型能够进行情境感知聊天、执行文本转语音以及进行多种图像编辑。我们的实验结果表明，Ming-Omni 为跨所有模态的统一感知和生成提供了强大的解决方案。值得注意的是提出的 Ming-Omni 是所知的第一个在模态支持方面与 GPT-4o 匹敌的开源模型。

整体框架——Omni

Ming-Omni 的整体框架。Ming-Omni 使用专用编码器提取视觉和音频 token。然后，这些 token 与文本 token 组合，并通过 Ling（一种 MoE 架构，带有特定模态路由器）进行处理。随后，它通过音频解码器生成语音，并通过扩散模型生成图像。

实验评估

Ming-lite-omni 在图像感知、视听交互和图像生成任务中展示了卓越的跨模态性能。具体来说，在图像感知任务中，Ming-lite-omni 仅激活 2.8B 参数就达到了与 Qwen2.5-VL-7B 相当的性能。它在端到端语音理解和指令跟随方面表现出色，超越了 Qwen2.5-Omni 和 Kimi-Audio。此外，它还支持原生分辨率图像生成、编辑和风格转换，GenEval 得分为 0.64，优于 SDXL 等主流模型。在 FID 方面，Ming-lite-omni 达到了 4.85，创下了现有方法的新 SOTA。

图像基准

百科基准

视频基准测试

音频基准测试

SpeechQA

信息查询基准

OCR

GUI

Ming-Omni 是第一个在模态支持方面与 GPT-4o 匹敌的开源模型。它可以感知文本、图像、视频和音频模态，并实时生成文本、自然语音和图像。Ming-Omni 基于 Ling MoE 架构构建，并配备模态专用路由器以缓解模态冲突，在多模态交互和生成方面表现出色。Ming-Omni 仅激活 28 亿个参数就达到了与 Qwen2.5-VL-7B 相当的性能，并在端到端语音理解和语音指令跟踪方面展现了 SOTA 性能。此外，Ming-Omni 还支持原始分辨率图像生成、编辑和风格迁移，超越了 SDXL 等主流生成模型。总而言之，MingOmni 在多模态感知和生成任务中展现出强大的适应性和效率，展现出未来研究和工业应用的光明前景。

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～

AI I024

2025年7月24日星期四

蚂蚁推出Ming-Omni：图像、文本、语音三模态无缝融合，一网打尽复杂任务！