PosterOmni是由港科大与美团联合开源的统一图像转海报生成框架，支持局部缩放、填充、扩展、身份驱动编辑以及全局布局、风格驱动创作。该框架基于任务蒸馏与统一奖励反馈机制训练，在PosterOmni-Bench基准测试中表现领先，适用于产品、食品、活动、自然等多种主题的海报设计。项目提供论文、代码、模型及在线试用地址。
Tags:
点击下方名片关注AIGC Studio公众号！获取最新AI前沿应用/AIGC实践教程！
在图像转海报的创意领域，如何高效融合局部精细编辑与全局概念设计，一直是创作者面临的挑战。PosterOmni这一创新框架的出现，正引领我们进入一个全新的艺术海报创作时代！通过任务蒸馏与统一奖励反馈机制，PosterOmni实现了从图像到海报的高效转换，无论是局部调整还是全局布局，都能轻松驾驭，让创意触手可及。
什么是 PosterOmni？
PosterOmni 是一个统一的图像转海报框架，涵盖以下两个方面：
海报本地编辑：缩放、填充、扩展、身份驱动 海报全局创作：布局驱动，风格驱动 统一框架：一个界面即可处理多任务海报生成和编辑。
相关链接：
论文：https://arxiv.org/abs/2602.12127 主页：https://ephemeral182.github.io/PosterOmni/ 源码：https://github.com/MeiGen-AI/PosterOmni 模型：https://huggingface.co/MeiGen-AI/PosterOmni_v1 数据：https://huggingface.co/datasets/PosterOmni 试用：https://huggingface.co/spaces/PosterOmni
论文介绍
图像转海报的生成任务，要求模型不仅具备局部调整的能力，还需深入理解高级设计概念。传统方法往往难以在保留语义完整性的同时，兼顾美学设计的和谐统一。PosterOmni 的提出正是为了解决这一多维度创作难题，通过整合局部编辑与全局创作，实现艺术海报的高效生成。
方法概述
PosterOmni 采用四阶段工作流程进行训练（见下图），逐步统一本地编辑和全局创建功能。
第一阶段：特定任务的SFT 通过针对特定任务的指导，培训编辑专家（调整大小/填充/扩展/标识）和创作专家（布局/样式），为每项海报任务建立强大的专业能力。
第二阶段：任务提炼 将任务专家的知识提炼成一个单一的多任务模型，从而在本地和全局任务中实现一致的行为。
第三阶段：PosterOmni奖励培训 学习统一的奖励信号来评估跨任务的海报结果，强调文本保真度、视觉一致性和整体海报质量。
第四阶段：全方位编辑强化学习 通过强化学习进一步将统一模型与奖励信号对齐，从而提高在各种海报编辑和创建场景中的鲁棒性和质量。
PosterOmni 数据集
论文推出了一套统一的数据集，包括PosterOmni-200K（训练集）和PosterOmni-Bench（评估集），用于图像到海报的生成。PosterOmni -200K包含超过 20 万个配对样本，涵盖六项任务——局部编辑（缩放、填充、扩展、身份驱动）和全局创建（布局驱动、风格驱动）——并包含六大海报主题：产品、食品、活动/旅游、自然、教育和娱乐。PosterOmni -Bench提供540 个中文提示和480 个英文提示，均匀分布在相同的六大主题中，以确保跨任务评估的一致性。
实验结果
局部编辑精度：PosterOmni在保持原始主题的同时，实现了精确的局部调整，包括扩展、填充、缩放和ID驱动生成。 全局创作逻辑：模型能够处理抽象的高层次任务，如布局驱动和风格驱动生成，确保整个海报的美学连贯性。 统一框架优势：无缝集成多种编辑与生成能力，无需切换管道，显著提升了创作效率与灵活性。
基准测试领先：在PosterOmni-Bench基准测试中，PosterOmni在参考遵循度、全局构图质量和美学和谐性方面，均超越了现有开源基线，甚至超越了部分专有系统。
结论
PosterOmni作为首个统一局部编辑与全局创作的艺术海报生成框架，通过高效的数据蒸馏与奖励反馈机制，解锁了基础编辑模型在多任务图像转海报生成中的潜力。其不仅显著提升了生成结果的质量与美学吸引力，更为未来的创意设计工具开发提供了宝贵方向。随着技术的不断演进，PosterOmni有望在游戏设计、广告创意、文化传播等领域发挥巨大作用，让艺术海报创作更加便捷、高效、富有创意。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论