之前的文章中给大家介绍过许多关于通过拖拽实现图像和视频编辑的方法，感兴趣的小伙伴可以点击👇链接阅读和收藏，整理不易，欢迎大家给文章点点赞和在看！
StableDrag：一种基于Diffusion模型的图像编辑，可一键拖拽生成，DragGAN被革新了！
快手发布DragAnything，拖动锚点精准控制视频物体和镜头运动，视频运动控制技术革命性更新
(CVPR2024)DragGAN作者新作DiffMorpher：可以实现两张图像间的平滑变形
ECCV2024，港大&牛津提出基于区域的图像编辑方法RegionDrag！
InstantDrag：仅需图像和拖动指令作为输入，在大约一秒内实现高质量的图像编辑。
北大、腾讯提出的DragonDiffusion可以对生成或真实的图像进行多种编辑，包括移动物体、调整物体大小、替换物体外观、拖动内容等。值得注意的是，所有编辑和内容保存信号都来自图像本身，模型不需要微调或额外的模块。
论文介绍
尽管现有的大规模文本转图像 (T2I) 模型能够从详细的文本描述生成高质量的图像，但它们往往缺乏对生成或真实图像进行精确编辑的能力。在本文中，我们提出了一种新颖的图像编辑方法DragonDiffusion，可在扩散模型上实现Drag式的操作。
具体而言，我们根据扩散模型中中间特征的强对应性构建分类器指导。它可以通过特征对应损失将编辑信号转换为梯度，以修改扩散模型的中间表示。基于这种指导策略，我们还构建了一个多尺度指导，以考虑语义和几何对齐。此外，还添加了跨分支自注意力以保持原始图像和编辑结果之间的一致性。
我们的方法通过高效的设计，实现了对生成或真实图像的各种编辑模式，例如对象移动、对象调整大小、对象外观替换和内容拖动。值得注意的是，所有编辑和内容保存信号都来自图像本身，模型不需要微调或额外的模块。
方法
所提出的DragonDiffusion 的流程。我们提出的方法由指导分支和生成分支组成。指导分支通过中间特征的对应关系为生成分支提供编辑和一致性指导。
结果
物体移动结果
物体外观替换结果
内容拖拽结果
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
没有评论:
发表评论