华东师范大学Planing Lab推出首个学术海报编辑AI框架APEX，可基于PPTX文件和自然语言指令（可结合PDF论文）自动解析、规划并执行海报编辑，通过多级API与审核机制实现精准调整。该研究同步开源APEX-Bench基准数据集，验证其高效性与视觉一致性。
点击下方名片关注AIGC Studio公众号！获取最新AI前沿应用/AIGC实践教程！
之前的文章中已经给大家介绍过一些关于海报生成相关的工作，感兴趣的小伙伴可以点击下面链接阅读~
科研人神器，论文秒变海报！Paper2Poster：一键生成顶会级学术Poster，再也不用为赶会熬夜做PPT啦。
一键生成高质量美学海报！港科大&美团提出PosterCraft，文字渲染与艺术融合，从创意到成品只需一步！
精准语义+高保真！智谱开源首个工业级图像生成模型GLM-Image：海报、PPT、科普图生成轻松搞定。
字节提出海报生成框架DreamPoster，一张图+一句话即可生成精美海报，功能即将上线APP，点击文章超前试用体验！
浙大-哈佛开源ICEdit，用1%资源实现图像编辑自由！一句指令生成海报级修图方案。
今天给大家介绍的工作是华东师范大学Planing Lab提出的APEX（Academic Poster Editing Agentic Expert），这是首个面向交互式学术海报编辑的Agent框架。给定一个输入的 PPTX 文件和一个自然语言指令（可选地附带一份纸质 PDF 文件），APEX 会解析海报，规划编辑操作，执行用于 PPTX 编辑的多级 API，并审查和完善编辑结果。
使用示例
使用 PosterGen 制作的海报： 使用 PosterGen 制作的海报： 替代文字
2. 用户说明：交换"语义感知方法"部分和"主要发现"部分的位置。然后将"主要发现"部分重组为左右两列等宽的栏目：将"主要发现"部分的文本内容放在左列，图片放在右列。移除"理论结果"部分的图片。在中间栏的两个部分之间插入一个名为"语义感知鲁棒性"的新部分，分别用两行文字介绍"对抗示例"和"过度鲁棒示例"。最后，调整中间栏的间距，使其在视觉上合适，避免重叠或溢出。 3. 编辑后的海报：替代文字
相关链接
论文：https://arxiv.org/abs/2601.04794 代码：https://github.com/Breesiu/APEX
概述
APEX 提供了一个完整的流程来编辑现有的学术海报（PPTX）：
将 PPTX 解析为结构化的 Json 表示。 指令驱动规划，将用户请求转换为一系列编辑 API 调用。 可选的论文理解（PDF），可根据论文内容进行改写或添加。 审核和调整，以检测布局和其他问题并进行修复。 评估工具（例如，基于 LangSmith 的评判/基准测试脚本）。
方法概述
多智能体海报编辑流程概述。该框架包含三个协作阶段：
语义解析和元素序列化：将源海报 Psrc 解析为结构化的 JSON 数据 PJ src，提取所有元素属性以实现细粒度控制。 规划和执行：集中式智能体综合用户指令 I、视觉表示 PV src 和 JSON 数据 PJ src 生成执行计划。它还可以选择性地调用论文理解工具从论文 M 中提取内容，然后再调用多级 API 修改 .pptx 文件。 审核和调整：质量保证智能体将编辑后的视觉输出 PV edited 与原始 PV src 和用户指令 I 进行比较，重点验证修改后的元素，并通过额外的 API 调用进行调整，以确保视觉效果和指令的一致性。
APEX-Bench 的数据构建流程。采用"模型辅助，人工优化"策略，该工作流程包含三个阶段：
数据源准备，通过 PosterGen 从源论文中合成初始草稿； AI 指令生成，利用视觉模型进行差距分析和美学优化，以生成初步的编辑指令； 人工优化，专家验证并调整指令，以确保其可行性和高质量。
成本表示每次编辑的平均美元成本。
实验结果
APEX-Bench 的性能比较。I.F.：指令执行率，M.S.：修改范围，V.C.：视觉一致性。
结论
APEX是首个专用于交互式学术海报编辑的智能体框架，该框架包含两个核心设计：一个强大的多级 API 套件以及一个审查和调整机制，在处理学术海报的高密度布局方面表现出色，同时确保局部化、精确的控制。为了支持该领域的系统性研究，进一步引入了 APEX-Bench，一个包含 514 条编辑指令的基准测试，并建立了一个多维度的基于虚拟模型的评估协议。实验结果表明，APEX 在指令执行和视觉一致性方面显著优于基于重生成的和通用的幻灯片编辑基线同时保持了修改范围。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论