Mind-Brush是统一意图分析、多模态搜索与知识推理的AI图像生成框架，在Mind-Bench基准上将准确率从0.02提升至0.31，代码与数据集已开源，适合AI研究者与开发者探索复杂推理任务。
Tags:
👇扫码免费加入AI知识星球，如您有工作需要分享，欢迎联系：aigc_to_future
作者：Jun He，Junyan Ye等
文章链接：https://arxiv.org/pdf/2602.01756
Git链接：https://github.com/PicoTrex/Mind-Brush
数据集：https://huggingface.co/datasets/PicoTrex/Mind-Brush
亮点直击
Mind-Brush，一个新颖的智能体框架，该框架统一了意图分析、多模态搜索和知识推理，以实现图像生成的"思考-研究-创造"范式。 Mind-Bench，一个专门用于评估涉及动态外部知识和复杂推理的生成能力的基准。实验结果表明，当前统一多模态模型在实时感知和逻辑推理方面存在关键缺陷。 Mind-Brush 在 Mind-Bench 上将 Qwen-Image 基线的准确率从 0.02 大幅提升至 0.31，同时，在包括知识驱动的 WISE（WiScore 提升 25.8%）和推理驱动的 RISEBench（准确率提升 27.3%）在内的现有基准上，显著超越了现有基线模型。
总结速览
解决的问题
意图理解与复杂推理能力的缺失： 现有模型本质上是"静态的文本到像素解码器"，只能执行显式的指令映射，无法理解用户的隐式意图。即使是新出现的统一理解与生成模型，也难以在单一模型内完成需要复杂知识推理（如数学推理、常识推理）的任务。 无法适应动态变化的世界： 由于受限于预训练数据的时间截断，模型的内部知识是静态的。这使得它们无法处理涉及实时新闻、新兴概念或需要最新事实验证的生成任务，与现实世界的动态发展脱节。
提出的方案
文章提出了 Mind-Brush，一个统一的智能体框架。该框架的核心思想是将图像生成从一个单步的静态映射，转变为一个动态的、由知识驱动的工作流程。
核心范式转变： 模拟人类的创作过程，提出了"思考-研究-创造"的工作流。 主动式生成： 模型不再被动依赖内部知识，而是主动进行规划，通过调用外部工具来弥补自身能力的不足，实现理解与生成的统一。
应用的技术
Mind-Brush 框架主要通过以下技术实现其核心功能：
智能体设计： 采用类似LLM智能体的架构，使模型具备任务分解和行动规划的能力。 主动检索机制： 能够主动检索多模态证据，以获取并利用超出其内部知识范围的信息，从而将生成内容建立在真实、最新的信息之上。 外部推理工具： 集成并使用推理工具来解决用户指令中隐含的、需要逻辑推导或计算的视觉约束。
达到的效果
通过引入Mind-Brush框架和相应的评测基准，文章展示了显著的效果提升：
能力跃升： 在提出的Mind-Bench基准上，Mind-Brush使基线模型（Qwen-Image）实现了"从无到有"的能力突破。 全面评测： 提出了一个新的评测基准 Mind-Bench，包含500个样本，覆盖实时新闻、新兴概念、数学推理和地理推理等10个需要动态知识与复杂推理的类别，填补了现有评测的空白。 性能优势： 不仅在Mind-Bench上表现优异，在已有的WISE和RISE等需要内部知识调用和基础推理的基准测试中也取得了更优的结果。
架构与方法
Mind-Brush 框架
问题形式化
本工作将 Mind-Brush 的推理工作流形式化为一个分层序列决策过程（Hierarchical Sequential Decision-Making Process），由元组 定义。该框架生成一个结构化的认知轨迹，以弥合抽象意图与视觉实现之间的差距。
认知状态（Cognitive State, ）：令 表示在步骤 的状态。它封装了原始用户输入（指令 和可选的参考图像 ）以及动态证据缓冲区 ，该缓冲区负责积累检索到的知识和推理链。 动作空间（Action Space, ）：智能体可用的操作集合。本工作区分了用于识别认知差距 的元动作（Meta-Action）（认知差距检测），以及用于主动获取多模态证据的执行动作（Execution Actions）。 执行策略（Execution Policy, ）：意图分析模块充当高级策略 。它评估初始状态，以根据识别出的 制定确定性的执行路径。
推理过程作为一个上下文感知的轨迹不断演进。如下图 2 所示，系统并不遵循僵化的工作流；相反，它会根据用户请求进行动态调整。通过评估初始状态中认知差距的具体性质（例如事实缺失或逻辑冲突），规划器推断出证据积累的最佳结构，将执行路由到专门的搜索或推理分支。这有效地将推理计算与用户意图的内在复杂性对齐。最终，本工作的目标是基于最终收敛状态 生成最优目标图像 。该状态包含整合后的主提示词（Master Prompt） 和经过验证的视觉参考 ，从而将静态生成转化为一个动态、显式的证据积累过程。
认知差距检测
用户指令通常包含超出模型参数知识边界的隐式约束和长尾概念。为了解决这个问题，本文引入了认知差距检测（Cognitive Gap Detection）策略，将其集成在意图分析智能体（Intent Analysis Agent, ）中作为一个元规划器，以弥合这一认知鸿沟。具体而言，它通过 5W1H（What, When, Where, Why, Who, How）范式将文本指令 和可选图像 映射到一个结构化的语义空间中，建立一个多模态的"真实基准（Ground Truth）"来确定信号的主导权。随后，该模块通过检测需要外部验证的特定实体或逻辑依赖项，执行严格的差距分析。内部知识中缺失的信息被形式化为一组显式的原子问题，记为 。基于 的组成，系统实例化一个动态执行策略 ，将工作流路由到动作空间中定义的适当事实锚定（factual grounding）或逻辑推理（logical reasoning）分支。
自适应知识补全
为了弥合识别出的认知差距，Mind-Brush 采用了一种内部逻辑推导机制。与僵化的单路径系统不同，执行策略 根据 的复杂性灵活组合检索和推理工具。
外部知识锚定（External Knowledge Anchoring）：对于涉及分布外（OOD）实体或动态事件的差距，框架会激活认知搜索智能体（Cognition Search Agent, ）。它首先利用一个关键字生成器来综合用户的多模态输入（）和识别出的差距 ，生成精确的文本查询 和初始视觉查询 。在从开放世界知识库中检索到事实文档 后，系统执行双重更新操作：其中，检索到的概念被重新注入到用户指令中（）以更新文本上下文，同时校准视觉查询（）以确保随后检索到的参考图像 与经过验证的事实保持一致。 内部逻辑推导（Internal Logical Derivation）：对于需要复杂演绎的差距（例如，解决 中的数学问题或从检索数据中推断空间关系），系统触发思维链知识推理智能体（CoT Knowledge Reasoning Agent, ）。该引擎作为一个逻辑处理器，摄取用户指令、输入图像，以及至关重要的积累搜索证据（）。它执行多步推理以解决隐式冲突或解释检索到的视觉数据，从而产生显式的结论 。
最终的证据集 为生成形成了一个全面且逻辑一致的认知上下文。
约束生成
外部信息的积累带来了冗余或不相关的风险。因此，最后阶段的重点是信息整合与条件合成。首先，概念审查智能体（Concept Review Agent, ）作为一个整合机制，从脱节的证据流 中过滤噪声。它将经过验证的事实和逻辑结论与用户的原始创作意图综合起来，将它们重写为一个结构化的主提示词 。该提示词明确阐述了以前隐式或未知的视觉属性。随后，统一图像生成智能体（Unified Image Generation Agent, ）执行视觉合成。与标准的 T2I（文本到图像）模型不同， 同时受文本对齐的 和自适应视觉提示 的条件约束。具体而言，基于用户意图，该机制在生成和编辑模式之间动态选择，以确定视觉条件源 （即来自 或 ）。这些约束有效地引导模型实现对用户创意愿景的高保真度，同时严格遵守在知识获取阶段建立的事实和逻辑边界。
Mind-Bench 基准测试
动机与任务定义
为了探究"认知生成"的边界，本文提出了 Mind-Bench，一个包含 500 个样本的综合基准，旨在客观评估依赖于动态外部知识和用户意图推理的生成能力。如下图 1 所示，基准分为两大类，涵盖 10 个不同的子领域：
知识驱动任务（Knowledge-Driven Tasks）：包括特殊事件、天气、角色、物体和世界知识。核心挑战在于减轻对分布外（OOD）实体的幻觉。 推理驱动任务（Reasoning-Driven Tasks）：包括生活推理、地理推理、数学、科学与逻辑，以及诗歌。核心挑战在于模型从表面简单的指令中推导出隐式约束的能力。
基准构建与评估标准
基准通过严格的"人机协作管道"构建，确保多维度的复杂性和事实可靠性。为了准确反映模型在复杂认知任务中的可用性，本文提出了基于检查表的严格准确率（Checklist-based Strict Accuracy, CSA）作为核心指标，如下图 3 所示。该标准采用 MLLM 评判器在"整体通过标准（Holistic Pass Criterion）"下对照检查表仔细审查生成的图像。准确率定义为：
其中 为指示函数，如果图像满足检查项则返回 1。只有当所有子项都被验证为"通过"时，该样本才被视为正确。
实验
本文通过大量实验全面评估了 Mind-Brush 框架在理解用户意图和生成长尾概念方面的能力，主要在 Mind-Bench、WISE 和 RISEBench 三个基准上进行了测试，并与当前的专有模型（如 GPT-Image系列、Nano Banana系列、FLUX系列）和开源 SOTA 模型（如 SD 3.5, Bagel, Qwen-Image 等）进行了广泛对比。此外，相关的评估协议、任务分类分布对比等详细数据可分别在下表 7 和下表 8 中找到。
主要实验结果总结如下：
Mind-Bench 基准上的表现： 如下表 1 所示，Mind-Brush 在知识驱动和推理驱动任务上均取得了显著提升。相较于开源基线模型 Qwen-Image，Mind-Brush 将整体严格准确率（CSA）从 0.02 惊人地提升至 0.31，实现了从 0 到 1 的能力飞跃。不仅超越了 SD-3.5 Large，甚至在多项任务上媲美或超过了众多强大的闭源专有模型（如超越了 GPT-Image-1.5 的 0.21）。
WISE 与 RISEBench 上的表现： 如下表 2 所示，在侧重世界知识的 WISE 基准上，Mind-Brush 获得了 0.78 的综合 WiScore，比基础模型 Qwen-Image 提高了 25.8%，追平了顶级的 GPT-Image-1。 在侧重逻辑与视觉编辑的 RISEBench 上，本方法在"指令推理（Instruction Reasoning）"维度获得了 61.5 的高分，大幅超越 Bagel 等模型，整体准确率（24.7%）同样逼近最先进的专有模型。
定性比较与过程可视化：
如下图 4 所示，定性结果直观地展示了 Mind-Brush 在处理知识驱动任务时如何有效利用搜索工具检索视觉参考（例如对冷门 IP 概念的准确还原），并在推理驱动任务中正确解构数学逻辑和空间关系，避免了基线模型常犯的事实错误和逻辑断层。 如下图 19 所示 和 如下图 20 所示，展示了 Mind-Brush 在处理复杂的地理数学任务和纯数学可视化任务时，其逐步检索、推理并最终约束生成的完整工作流。
消融实验与架构分析： 如下表 3 所示的消融研究证实了认知搜索智能体和知识推理智能体的有效性。单独加入推理智能体或搜索智能体均能带来特定领域的提升，而两者的协同作用则达成了最优的综合表现。 如下表 6 所示，在探索不同 MLLM 骨干和生成引擎的实验中发现，智能体大脑的强度（如使用 GPT-5.1 替代 Qwen3-VL）主导了整体性能的上限；同时，更强的底层图像生成器（如 GPT-Image-1）可以与 Mind-Brush 框架协同，实现性能的成倍增长。
额外基准扩展测试： 如下表 4 所示和如下表 5 所示，在侧重指令遵循的 GenEval++ 和侧重创意生成的 Imagine-Bench 上，Mind-Brush 同样展现出优越的性能，甚至在部分子任务（如位置/计数、时空异化等）上表现超越了目前最优的 Agentic 基线 GenAgent，展现出极强的长尾指令处理与泛化能力。
总结
本文引入了 Mind-Brush，一种免训练的智能体框架（training-free agentic framework），它将文本到图像（text-to-image）的生成从被动解码转化为一种主动的认知工作流。通过协调意图分析、多模态锚定以及显式的思维链（Chain-of-Thought）推理，Mind-Brush 有效地弥合了模糊的用户意图与精确的、以事实为基础的视觉合成之间的差距。为了对此进行严格的评估，本工作建立了 Mind-Bench，这是一个旨在针对知识密集型和依赖推理的任务对模型进行压力测试的基准。经验结果表明，本框架显著优于现有的最先进模型，证实了主动检索与逻辑演绎协同作用的有效性。本工作相信，这种向"智能体生成范式（Agentic Generative Paradigm）"的转变，为能够在视觉合成领域解决复杂问题的下一代系统铺平了道路。
参考文献
[1] Mind-Brush: Integrating Agentic Cognitive Search and Reasoning into Image Generation
技术交流社区免费开放
涉及 内容生成/理解（图像、视频、语音、文本、3D/4D等）、大模型、具身智能、自动驾驶、深度学习及传统视觉等多个不同方向。这个社群更加适合记录和积累，方便回溯和复盘。愿景是联结数十万AIGC开发者、研究者和爱好者，解决从理论到实战中遇到的具体问题。倡导深度讨论，确保每个提问都能得到认真对待。
技术交流
加入「AI生成未来社区」群聊，一起交流讨论，涉及 图像生成、视频生成、3D生成、具身智能等多个不同方向，备注不同方向邀请入群！可添加小助手备注方向加群！
没有评论:
发表评论