腾讯联合同济等高校提出MegaStyle，通过可扩展数据流水线构建140万张高清风格数据集MegaStyle-1.4M，训练出风格迁移模型MegaStyle-FLUX和编码器MegaStyle-Encoder，在多个基准上超越现有方法。论文、代码、模型、数据集全部开源，适用于插画创作、设计出图、短视频、游戏美术等场景。适合AI研究者、开发者及AIGC从业者。
Tags:
风格迁移（Style Transfer）这个方向，大家肯定不陌生——给一张参考图，让AI把你的照片"画"成那个风格。但你有没有想过，训练风格迁移模型的数据从哪来？ 以前的做法是用现有的SOTA风格迁移模型去"造"数据，结果数据质量完全受限于生成器本身，风格不一致、细节丢失、内容泄漏……一堆老毛病。
腾讯联合同济、NTU、HKUST等多所高校，刚刚提出了一个全新思路：既然现在的大模型（如Qwen-Image）已经能根据文字描述稳定地生成同一风格的图片，那我直接用它来造数据不就完了？
于是就有了 MegaStyle——一个可扩展的数据构建流水线，以及它产出的 140万张大规模高清风格数据集 MegaStyle-1.4M。在这个数据集上训练出的风格迁移模型 MegaStyle-FLUX，以及风格编码器 MegaStyle-Encoder，在多个基准上全面超越所有现有方法。目前论文已发布，代码、模型、数据集全部开源。
论文介绍
论文介绍了一种名为MegaStyle 的新型可扩展数据整理流程，该流程构建了一个风格内一致、风格间多样化且高质量的风格数据集。我们利用当前大型生成模型一致的文本到图像风格映射能力来实现这一目标，这些模型能够根据给定的风格描述生成相同风格的图像。在此基础上，我们整理了一个包含 17 万个风格提示和 40 万个内容提示的多样化且均衡的提示库，并通过内容-风格提示组合生成了大规模风格数据集 MegaStyle-1.4M。基于 MegaStyle-1.4M，我们提出了一种风格监督对比学习方法来微调风格编码器 MegaStyle-Encoder，以提取富有表现力的、特定于风格的表示，并且我们还训练了一个基于 FLUX 的风格迁移模型 MegaStyle-FLUX。大量实验表明，对于风格数据集而言，保持风格内部一致性、风格间多样性和高质量至关重要，同时也证明了所提出的 MegaStyle-1.4M 的有效性。此外，当使用 MegaStyle-1.4M 进行训练时，MegaStyle-Encoder 和 MegaStyle-FLUX 能够提供可靠的风格相似性度量和可泛化的风格迁移，从而为风格迁移领域做出重大贡献。
数据整理流程
数据整理流程概述。首先从开源数据集中收集风格和内容图像。接下来，我们应用精心设计的指令，利用 Qwen3-VL 生成风格和内容提示，并结合平衡抽样。最后，我们使用 Qwen-Image，根据内容-风格提示的组合生成风格图像。请注意，我们仅出于演示目的使用了简化的内容和风格提示。
MegaStyle-1.4M 的可视化
每行在不同的内容中都呈现相同的样式。MegaStyle-1.4M 包含多种高质量样式图像，且样式内部一致性极高。
MegaStyle-FLUX 的风格化结果
MegaStyle-FLUX 经过 MegaStyle-1.4M 的训练，能够生成与文本提示指定的内容和参考图像的风格相一致的风格化图像。
比较
将 MegaStyle-FLUX 与最先进的风格迁移方法进行了比较，包括 DEADiff、StyleShot、Attention-Distillation (Attn-Distill)、CSGO、StyleCrafter、InstantStyle 和 StyleAligned。结果表明，MegaStyle-FLUX 相较于这些基准方法具有更优异的性能。
结论
MegaStyle 从数据根源解决风格迁移顽疾：140 万高质量风格数据集为行业树立标准，MegaStyle-FLUX 实现稳定、细腻、高保真风格迁移。作为腾讯开源力作，它可用于插画创作、设计出图、短视频、数字人、游戏美术等场景，大幅降低风格创作门槛，推动 AIGC 从 “能生成” 走向 “生成好看、生成统一、生成专业”。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论