首先,JoyCaption最新发布的版本其实不是3,而是 Beta one,比之前的JoyCaption 2在功能上有了很大的提升,而且速度更快了,特别是新增了一个"user_prompt"功能,允许我们对反推词进行人为干涉,光这一个功能就甩出其它反推插件几个街区了。目前JoyCaption Beta one还没有官方插件,需要安装最新版的LayerStyle_Advance,才能找到它。插件链接:
https://github.com/chflame163/ComfyUI_LayerStyle_Advance
相对于JoyCaption2,我认为JoyCaption Beta one底部新增的"user_prompt"功能,才是最为新版本最为亮眼的功能。如果你第一次使用该插件,在使用的时候它会自动下载模型(要先开启科学上网)。https://pan.quark.cn/s/f76e781d4c8fhttps://huggingface.co/fancyfeast/llama-joycaption-beta-one-hf-llava/tree/main
models\LLavacheckpoints\llama-joycaption-beta-one-hf-llava
JoyCaption Beta one的使用方法非常简单,只需要插件主体节点、加载图片节点、模型加载节点和文本展示节点四个部分组成。它还有一个额外选项,你可以允许你在反推的提示词加入更多的信息。在主节点这里,有多种提示词的类型可供选择,使用方法也是和上一个版本一样的。在加载模型的节点里,选择 bf16 会获得更好的反推效果,当然也需要耗费更多的算力资源。载入一张图片测试一下反推效果,文本展示那里给出了一长串提示词。为了便于察看,我又在反推提示词后面又增加了一个翻译节点,将提示词翻译成了中文。将翻译后的提示词和原图片放在一起对比一下,会发现提示词对原图细节的还原度还是很高的,像蝴蝶的颜色、甚至位置都描述得非常准确。这次JoyCaption Beta one更新后最吸引我的地方就是它的"user_prompt"功能 ,我们只要在这里输入我们的指令,就可以更改反推提示词的输出结果。例如,我输入"将图片风格转变成动漫风格,用英文表达",它在输出的结果中就加入动漫风格的描述。将刚刚的反推工作流得到的提示词接入flux工作中,作为提示词使用。下面是不干涉提示词,直接反推后,用flux文生图得到的结果。其实,我们用的是文生图工作流,你要看生成的图片是不是遵循提示词就行了。我们拿提示词中"蓝白蝴蝶,在女人的头部飞行"和生成的图片对比,就能发现生成的图片还是很准确的。下面我们测试一下新增的"user_prompt"人为干涉提示词功能效果如何。下面这张是对人物进行局部修改,将头发改成黑发的效果。它还可以去掉人物主体,只生成背景图片,只要在提示词中输入"不描述人,只描述风景"就可以。关于最新版JoyCaption的介绍今天就到这里,后续更多功能,我会在以后文章中再进行介绍。
感谢您的阅读,麻烦点个赞+在看吧!
没有评论:
发表评论