商汤科技推出SenseNova U1信息图增强版V3开源模型,在保持高信息密度生成能力的基础上,新增局部文字修改、内容编辑、全局风格与布局调整功能。适合设计师、内容创作者及开发者使用,模型权重已公开免费下载,无需重复生成即可修正细节。
Tags:
邀请大家来玩一场“找不同”小游戏:你能发现从左到右一共编辑了几处吗?欢迎在评论区留言!
左边是原图,右边是编辑后的图~(本文所有图片均可点开查看大图)
但在高信息密度场景中,错字修改、图标调整、内容增补等局部修改仍难以完全避免。哪怕只出现一个文字错误,也可能让整张图无法直接使用,用户只能重新生成、反复“抽卡”。
为进一步提升模型在图文融合与结构化视觉内容生成中的交付能力,商汤科技正式推出SenseNova U1信息图增强版V3(SenseNova-U1-8B-MoT-Infographic-V3,以下简称Infographic-V3)。
模型权重下载地址:
https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-Infographic-V3
新版本延续了 V2 强大的信息图生成能力,并首次加入信息图编辑能力:当画面整体已经令人满意时,用户无需推倒重来,只需针对局部文字或整体风格进行修改,即可继续完善作品。
原图
主题风格换成漫画风格,需要进行以下修改:
第一项修改:将原图中的文字:“STYLE”替换为:“时尚杂志”
第二项修改:将原图中的文字:“FORWARD”替换为:“美丽的补充力”
原图
删除海面下的塑料袋、塑料瓶和吸管,将中央口号改为白色手写体“SAVE OUR OCEAN”,把右侧海龟移到文字下方并在底部新增回收标志,保持海洋分层结构清晰
从“重新生成”到“按需修改”
让好图不再因小错作废
局部文字编辑
Infographic-V3 支持多种信息图的编辑方式。用户既可以在图上标注目标区域后进行定点修改,也可以通过自然语言(Prompt) 直接指定需要修改的内容。面对错字、漏字或重复字,模型能够在尽量保持原有版式、配图和视觉结构的前提下完成修正。
标注目标区域进行定点修改
把红色框的“经典·从容·每一刻”换成经典时尚手表,蓝色框换成“100米防水”,橙色框换成电池寿命约10年
修复红框内模糊标题为“量子互联网的第一条链路”,其余不动
在红框中加入“年度结余目标:120,000元”
把红色框的“我不见,黄河之水地下来”替换成“君不见,黄河之水天上来”,把蓝色框的“我不见,高堂明镜悲白发”替换成“君不见,高堂明镜悲白发”
通过自然语言 Prompt 直接指定需要修改
第一项修改:将原图中的文字:“不够高级“替换为:“DESIGN!OR DIE!”第二项修改:将原图中的文字:“没有惊喜感”,换成“缺乏设计感会导致”
透明杯壁上加入“CURLY & PROUD”,文字需随杯面弧度自然变形,并呈现透过玻璃与茶水后的透明度和色偏
将四代员工使用个人AI工具的比例依次改为:Gen Z 92%、Millennials 81%、Gen X 68%、Boomers 55%,并同步调整四根彩色柱子的高度。保留人物插画、英文标题、配色纹理、来源和品牌信息不变
局部内容编辑
除了文字修改,对于局部内容不满意等情况也可以进行编辑。
主题风格换成乐高风格。将原图中的文字:“2022“替换为:“2025”
第二项修改:将原图中的文字:“FINESTBUSINESSTRENDS”换成“HELLO! WORLD!”
全局风格编辑
除了可以进行局部修改,Infographic-V3 还支持对信息图的整体风格进行调整。用户可以在保留核心信息与结构的同时,更换视觉表达方式,使同一份内容适配不同品牌、主题与传播场景。
把图片风格换成中国传统风格,字体换成宋体
保持内容不变,迁移为亮色风格
风格换成复古羊皮纸地图风;保留全部文字、数据与版式
全局布局编辑
此外,Infographic-V3 还具备全局布局编辑能力,能够在保留核心信息的基础上,重新组织内容层级与版面结构,让信息呈现更加清晰,并灵活适配不同尺寸与使用场景。
信息大致不变,对布局进行美化
信息图生成能力
更重要的是,编辑能力的加入并未以牺牲生成能力为代价。Infographic-V3 延续 V2 在图文融合、复杂排版与结构化视觉表达方面的优势,能够处理高信息密度内容、复杂版式与多样视觉风格。
从 MT阶段重启训练
兼顾生成与编辑能力
为了获得稳定的信息图编辑能力,技术团队没有只在后训练上调整,而是回到 MT(中期训练)阶段重新设计训练路径。围绕真实编辑需求,合成了形式多样的信息图编辑数据,并按照一定配比联合训练文本生成图像(T2I)与图像编辑任务。
模型随后依次经历 MT、SFT(监督微调)和 RL(强化学习)阶段。实验结果表明,这种联合训练方式使 Infographic-V3 在保留较强信息图生成能力的同时,获得了多种文字编辑和风格编辑能力,为信息图从“一步生成结果”走向“可持续修改的视觉作品”打下基础。
新增编辑能力评测
在两项近期 Benchmark 上取得良好表现
针对新加入的编辑能力,技术团队新增了专门评测文字编辑能力的 WeEdit 评测基准,也引入近期开源的Qwen-Image-Bench 进行文生图综合能力的评测。
结果显示,Infographic-V3 在两项评测中均取得了良好表现,验证了模型在文字修改、局部编辑与综合图像编辑方面的能力,在文生图的综合能力上也稳步提升。
在编辑榜单WeEdit上,Infographic-V3均分为5.89分,表现为开源模型中的最优
在Qwen-Image-Bench上,Infographic系列模型的表现稳步增长
下一步:让模型学会自我检查、自我纠错与持续迭代
Infographic-V3 已经具备单轮生成与单轮修改能力,实现从首次创作到后续修改的一体化体验,而这只是起点。SenseNova-U1 架构原生支持图文交替思考,这意味着模型未来有机会在生成信息图后主动检查内容与版式,发现问题后自主调用编辑能力完成纠错,并通过多轮迭代持续优化结果。
当生成、检查、修改形成闭环,信息图创作将从“用户反复抽卡”进一步走向“模型自主打磨成品”。技术团队期待持续增强模型一次性交付高质量视觉内容的能力,让 AI 信息图真正进入更可靠、更高效的生产流程。
目前SenseNova U1信息图增强版V3(SenseNova-U1-8B-MoT-Infographic-V3)已面向全球用户开源。欢迎广大创作者、开发者下载体验,持续提供反馈和建议。
模型权重下载地址:
https://huggingface.co/sensenova/SenseNova-U1-8B-MoT-Infographic-V3
模型文档:
https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/u1_infographic_model_CN.md
魔搭社区:
https://modelscope.cn/models/SenseNova/SenseNova-U1-8B-MoT-Infographic-V3
没有评论:
发表评论