ComfyUI I 字节DreamFit ： 多主题电商服装迁移！轻量级即插即用任意服装模特匹配

DreamFit:为服装增加电商模特DreamFit简介今天文章介绍一款新的虚拟试衣框架：DreamFit

 

DreamFit:为服装增加电商模特

DreamFit简介

今天文章介绍一款新的虚拟试衣框架：DreamFit，这是一款结合了一种专门为以服装为中心的人类生成量身定制的轻量级任何服装编码器。DreamFit具有三个关键优势：

• 轻量训练：通过所提出的自适应注意力和LoRA模块，DreamFit显著将模型复杂性降低至8340万可训练参数。

• 任何服装：模型在各种（非）服装、创意风格和提示指令上表现出惊人的泛化能力，在多样化场景中持续提供高质量结果。

• 即插即用：DreamFit专为与任何社区控制插件平滑集成而设计，确保兼容性，并减少使用门槛。

DreamFit的方法是构建了一个利用LoRA层的任何服装编码器。特征通过任何服装编码器提取，随后通过自适应注意力传递给去噪的UNet。此外，DreamFit还将在推理过程中引入大型多模态模型（LMM），以减少训练与测试之间的文本提示差距。

为了进一步提高生成质量，DreamFit 利用预训练的大型多模态模型（LMMs）丰富提示，提供细化的服装描述，从而减少训练与推理之间的提示差距。在768 × 512高分辨率基准和实际图像上进行了全面实验。DreamFit超越了所有现有方法，突显了在以服装为中心的人类生成方面的尖端能力。

• GitHub：https://github.com/bytedance/DreamFit

DreamFit虚拟试衣ComfyUI体验

本文使用RunningHUB版本ComfyUI插件工作流体验，暂未发布。待后续发布后将再次推文通知。

DreamFit虚拟试衣ComfyUI体验

DreamFit虚拟试衣ComfyUI体验工作流下载：

• RunningHUB-DreamFit虚拟试衣 ：https://www.runninghub.cn/post/1920852726639693826/?inviteCode=kol01-rh059

注意：

• DreamFit虚拟试衣 当前为RunningHUB版本，还未发布，仅在线体验。地址：https://www.runninghub.cn/post/1920852726639693826/?inviteCode=kol01-rh059

• 另外当前实现为SD1.5版本，使用的是Realistic_Vision_V6.0模型，国外人物面孔，待后续更换为更强的Flux版本，出图质量应该比现在版本更强。

• 如需固定人物脸庞则读者可增加SDXL InstantID一致性换脸工作流实现。文中主题迁移提示词使用了LLM Prompt反推插件增强衣服一致性。

• 另外，DreamFit能够很好做到服装迁移，测试体验在单主题下质量最好，多主题最多2个物体迁移（需要保持上下结构）；更多则质量显著下降。希望在后续的Flux版本能够补齐，暂还未能达到商用迁移能力。

• 推荐参数分辨率512*768、CFG：7.5，ref_scale：1.3为质量更稳定。

• 更多图文和视频ComfyUI工作流参见个人主页：https://www.runninghub.cn/user-center/1890418187312222210?utm_source=kol01-RH059

01.衣服

A  woman wearing a  T-shirt., Tag Description: A short-sleeved, casual women's T-shirt with a two-tone design. The body of the shirt is a soft lavender hue, while the sleeves and neckline are a contrasting deep purple shade. The shirt prominently displays the "VANS" logo in bold, white uppercase letters within a rectangular purple block across the front chest area, providing a striking visual focal point. The fabric appears smooth and lightweight, suggesting comfort for everyday wear. The collar is a rounded crew-neck style, emphasizing a relaxed, sporty aesthetic. The overall design reflects a minimalist yet trendy approach, ideal for enthusiasts of urban or skate-inspired fashion.

02.裤子

A  woman wearing a trousers, Blue denim jeans, with a straight-leg silhouette and classic five-pocket construction featuring two front pockets, a coin pocket, and two back pockets. The waistband includes belt loops and a button closure above the zip fly. Mid-wash blue denim with subtle fading along seams for a worn-in effect. Positioned symmetrically on the front knee areas are two white decorative motifs, intricately designed in a swirling, interlocking pattern resembling a floral or abstract emblem, indicative of a high-fashion branding. Hemlines are finished with a clean, slightly textured edge without fraying.

03.多物体

A  woman wearing clothes and trousers, Tag description: A casual two-piece outfit consisting of a Vans crew-neck T-shirt and denim jeans. The shirt features a light lavender body with contrasting deep purple sleeves and a prominent Vans logo on the chest in white. The jeans have a relaxed straight-leg fit with a medium blue wash and two symmetrical floral-inspired white embroidered patterns on the knee areas, adding a unique and stylish detail. The clothing items reflect a casual, relaxed aesthetic, ideal for everyday wear or a laid-back outing.

• 推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流（注册即送1000积分可用）。主页更多精彩工作流可在线体验： https://www.runninghub.cn/user-center/1890418187312222210?utm_source=kol01-RH059  。阿里万相-最强开源图生视频AI应用：https://www.runninghub.cn/ai-detail/1894632237306937345?utm_source=kol01-RH059  。AI工作流：https://www.runninghub.cn/post/1894584540348743681/aiDetail?utm_source=kol01-RH059 

• 推荐使用云端镜像体验：新注册即送 8 元免费白嫖额度，4090D 大约 1.59 元/小时。注册链接：https://www.xiangongyun.com/register/UJ6IVE 。万相wan&混元&FramePack&LTXV视频最全体验整合包：https://www.xiangongyun.com/image/detail/a5702c45-2b5a-4dfa-9f9b-086d885773ec?r=UJ6IVE

• 更多AGI资料：https://www.yuque.com/yuqueyonghuwhsczq/isrggf/ypl2f4ey6q8l8f2o?singleDoc#

• 网盘下载：https://pan.quark.cn/s/df2362ede7e0

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～