2024年12月1日星期日

AI作画离线版V8。2，FLUX-Redux仿图、PhotoMaker-V2人物一致性作画，支持扩图，AI脑补能力进一步提升！

「本期内容标签」
安卓 iOS 电脑 小程序 网站 游戏 教程
本月V8.2带来了一些更为便捷的功能，如下更新：
V8.2版本：（V8.2版本仅支持win10、win11）
1、支持FLUX-dev作画，支持文生图、图生图，支持FLUX的lora；
2、支持FLUX-dev-Redux仿图，给定参考图，可以仿造参考图风格仿图；
3、支持photomakeV2，给定人物参考图，实现此人物面容下绘制各种风格的图；
4、支持SDXL模型扩图功能，给定一张局部图片，四周脑补出画面；
5、局部修改支持SDXL模型；
6、支持CN作画艺术二维码；
7、支持视频重绘，画面更加稳定；
8、支持大量SD一代、XL大模型、LORA模型导入使用。
01
软件概览
软件名字叫做：AI作画离线版V8.2，基于GitHub上的开源项目Disco Diffusion与Stable Diffusion以及众多开源项目。
如下，软件主界面，还是以操作简单为主：
▼
02
软件功能介绍
功能一：SD(Stable Diffusion)作画
SD作画是目前最流行的开源作画框架，SD作画模式下，目前支持文生图（SD一代、SD XL、SD三代支持）、图生图、文字生成视频animatediff、SD动画deforum、队列模式、局部修改、图片描述解析等功能。
1、描述词设定：描述词包括正描述和负描述，负描述默认可以不写，负描述如果写，就代表不想让绘画结果出现的元素。
▼
1.1、队列模式下的描述词设定：当如下勾选了队列模式后，通过固定的句式，可以生成大量的配置文件，也就可以实现生成多套参数的图。
▼
比如我的文字描述这样描述：a beautiful girl by {400|1|艺术家}，当点击保存设置后就会生成400个艺术家的不同配置文件。
注意这个格式{400|1|艺术家}中的{}、|这些不能缺少，完全按照固定格式来，400代表生成400个配置文件，1代表by一个艺术家名字（如果设置成2就代表by两个艺术家名字混搭），艺术家代表的是软件目录下【描述风格库】文件夹下的艺术家.csv文件，而艺术家.csv文件如下所示，两列数据：
▼
软件支持各位自建这种语料库，大家可以复制csv建立副本，然后在副本里修改，注意也是按照两列格式来，第一列是描述，第二列是解释。比如下面我建的颜色.csv文件，简单写了一下，也是一定严格两列来哈，且都放在软件目录下的【描述风格库】文件夹。
▼
1.2、AI生成描述：支持写个开头，然后如下点击AI生成描述进行续写描述，目前有两种自动写描述引擎了：
▼
2、绘图参数：绘制图片轮数代表每次画几张图；描述相关度默认数值就可以，当然可以尝试10以上数值；随机种子默认0，代表每次种子随机，设置大于零的固定值，如果其他参数一样，则SD出图完全一样。
▼
当采样器选择LCM时，如下步数可以设置5，描述相关度推荐0，即可实现加速出图，如下：
▼
3、显存占用模式选择：软件提供不同显存占用模式。
▼
4、图生图：参数比较简单，基本上就是导入原图，修改描述，设置图片差异度参数即可，注意差异度参数范围0-1，1代表与参考图差异最大哈。另外，自适应尺寸比较人性化，比如参考图尺寸宽高为1024x512，绘图参数尺寸设置512×512,默认无，代表不自适应，最终出的图尺寸为512×512，固定宽代表，以绘图参数尺寸设置的宽512为准，参考图宽高比2比1，高自动修改为256，最终输出512x256的图。
▼
如下，试试SD参考图，实现真人二次元效果或者其他的一些效果：
▼
5、动画deforum：SD动画选择2D，即可开启动画deforum模式，动画也可以设置参考图，支持动画变化角度、缩放大小、xyz轴移位等。
▼
文字描述需要如下格式，每一次换行都是一个过渡描述，每个过渡描述开头数字，代表动画帧数，比如第一行就是前10帧a描述。
10:::a 
20:::b 
40:::c 
如下SD动画演示视频：
▼

6、动画animatediff：SD动画选择animatediff，即可开启文字生成动画模式，正常输入描述，即可生成如下的短动画：
▼

7、图片生成视频SVD：SD动画选择SVD或者SVD 1.1，图生图里导入参考图，即可根据图片生成视频，如下设置：
▼
如下为效果演示视频：

8、SD、LORA、VAE模型选择：支持选择第三方ckpt、safetensors格式的SD模型、VAE模型以及LORA模型（还支持Lycoris类的LORA模型），如下所示：
▼
当选择SD XL时，自动切换到SD XL模式作画，SD XL效果要比一代好很多，如下测试的XL做的图：
▼

当选择XL模型后，如下图启动扩图，会自动打开webui界面，如下进行相关简单的图片导入即可生成扩图的图片。
▼
如下面的图，每张图左侧为原图，右侧为AI脑补扩图制作而成：
当选择SD 三代时，自动切换到SD3模式作画，SD3的语义理解能力不错，如下测试的SD3做的图：
▼
当选择FLUX-DEV时，自动切换到FLUX模式作画，FLUX的语义理解能力不错，全‮模能‬型，手可‮画以‬好，文字也支持，各‮类种‬型画‮都风‬能胜任，如下测试的SD3做的图：
▼
当选择FLUX-DEV-REDUX时，导入参考图即可仿造图片生成类似的图，如下演示：
▼
9、AI图片描述解析：如下按钮点击，选择图片，稍等片刻即可显示出描述，当然这个描述有所出入，但当作描述来用画出的图也确实不错。
▼
下面演示几张图，解析出来的描述：
a group of iron man standing next to each other in the ocean, a comic book panel by Paul Pelletier, featured on deviantart, antipodeans, marvel comics, reimagined by industrial light and magic, imax
▼
a painting of a landscape with mountains and trees, a detailed matte painting by Katsukawa Shunsen, pixiv, shin hanga, ukiyo-e, matte painting, detailed painting
▼
10、DeepDanbooru二次元TAG解析：如下点击按钮，支持二次元图片的TAG解析，诸如NovelAI等模型比较有需求：
▼
功能二：CN作画
CN就是目前大名鼎鼎的ControlNet，目前软件同步到CN 1.1版本，总体使用方式和SD差别不大。
CN的精髓在于下图，不同的这些模型：
▼
1、各模型简单演示：这些模型的作用就是针对不同的参考图进行创作，诸如Lineart模型就是针对线稿参考图，然后实现线稿上色或者二次创作的目的，如下演示，选择Lineart_Anime这个二次元线稿的CN模型配上二次元SD模型和描述：
▼
如下选择openpose这个人体姿势的CN模型，左图为原图，中间为识别原图的骨骼图，右图为生成的图。
▼
如下SEG语义分割的CN模型效果：
▼
如下MLSD这种识别建筑线稿的CN模型效果：
▼
如下为超分辨率的Tile的CN模型，真的是模糊图重绘神器：
▼
如下为二维码模型qrcode_monster_v2的CN模型，可以做图片二维码：
▼
如下为tile模型的妙用，实现文字光影效果：
▼
2、CN视频重绘：基于animatediff，我们通过选择合理的CN模型，然后在控制图导入要重绘的视频即可，软件操作很简洁，如下视频重绘效果演示视频，同时支持勾选队列模式，批量选择控制视频进行重绘。
▼


3、CN的Instant ID和PhotoMaker-V2创作：Instant ID和PhotoMaker-V2功能一样操作，都是不用训练即可生成CN给定的人脸控制图，然后根据描述或者不同风格模型绘制出不同风格的此人图片，注意SD模型要选择XL大模型，如下测试图（第一张为原图，其他图为生成图）：
▼
功能三：DD(Disco Diffusion)作画
1、描述词设定：如下默认的描述，每段（回车换行算一段）都是同一描述的不同权重关键词。
▼
2、图生图：参考图也人性化了，直接点击按钮选择图片即可，注意看参数旁边的问号，一般加入参考图时，skip_steps这个参数需要设置大一些。
▼
4、AI作画模型选择：参数设置里提供两种绘图Diffusion模型引擎选择，原版DD、像素版DD以及其他自定义的PT格式模型，如下图设置：
▼
如下演示的是国画模型：
03
显卡要求
需要至少2GB显存，且必须是英伟达显卡，AMD、intel等不支持。
各种显存测试参数可参考：https://docs.qq.com/sheet/DTGxSSkNJcnVhV1VP。
04
小结
这个项目确实很有意思，唯一的问题就是对显卡要求高，最起码需要英伟达2G及以上显存，AMD等其他显卡不支持，感兴趣的可以体验一下新版本了，更详细的作图参数、教程多刷刷B站相关视频即可。
05
本期内容获取
方式一：百度网盘
https://pan.baidu.com/s/16srtMV6rfSLFndCyi9B8YQ?pwd=tzss
提取码：tzss
方式二：123网盘（速度挺快）
https://www.123pan.com/s/H3GRVv-3qWLh?
提取码：6yCn
方式三：夸克网盘
https://pan.quark.cn/s/7a11b19b88ba
提取码：BMSE


























时间：

没有评论:

发表评论

订阅： 博文评论 (Atom)

MiroThinker-H1发布：开源研究型AI智能体，支持深度长链推理免费使用

MiroThinker开源研究型AI智能体发布H1新模型，具备长链推理与主动浏览网页能力，可生成深度研究报告。支持科学、高数、金融分析等专业场景，免费使用dr.miromind.ai。适合需要系统性研究、多方对比的用户。 Tags: MiroThinker 研究型AI...

  • 让你头疼的扣子(coze)工作流异常解决方案
    点击上方卡片关注 不要错过精彩文章 　 🎉 读完这篇文章，别忘记给舰长点一个关注！舰长的智能体搭建文章，不仅是节点的构建，也有思路的分享。智能体搭建最重要的就是思路。最希望，能给大家带来不一样的搭建思路和方法。　 　 点一点上方的🔵蓝色小字关注，你的支持是我最大的动力！...
  • ComfyUI+SageAttention 2。2 让视频生成提速40%，最详细的安装部署教程，看这篇就够了！
    SageAttention最新的2.2版本对comfyUI生图加速效果非常明显，可以提升视频生图速度40%，我 SageAttention最新的2.2版本对comfyUI生图加速效果非常明显，可以提升视频生图速度40%，我自己实测也达到30%。今天跟大家详细讲一下 SageA...