2025年6月27日星期五

ComfyUI 最强反推插件JoyCaption3,允许人为干涉反推提示词,更快,更猛,更强!

首先,JoyCaption最新发布的版本其实不是3,而是 Beta one,比之前的JoyCaption 2在功能上有了很大的提升,而且速度更快了,特别是新增了一个"user_prompt"功能,允许我们对反推词进行人为干涉,光这一个功能就甩出其它反推插件几个街区了。
一、节点安装和模型下载
1、节点安装
目前JoyCaption Beta one还没有官方插件,需要安装最新版的LayerStyle_Advance,才能找到它。

插件链接:

https://github.com/chflame163/ComfyUI_LayerStyle_Advance

关于插件的安装,请参见文章:
让ComfyUI无所不能的秘密:如何自定义节点!AI绘画,ComfyUI教程,安装自定义节点
图片
相对于JoyCaption2,我认为JoyCaption Beta one底部新增的"user_prompt"功能,才是最为新版本最为亮眼的功能。
关于这个功能,后面再做介绍。
图片
2、模型下载
如果你第一次使用该插件,在使用的时候它会自动下载模型(要先开启科学上网)。
你也可以通过下面的链接下载
夸克:
https://pan.quark.cn/s/f76e781d4c8f
HuggingFace:

https://huggingface.co/fancyfeast/llama-joycaption-beta-one-hf-llava/tree/main

下载后模型放置位置:

models\LLavacheckpoints\llama-joycaption-beta-one-hf-llava

二、使用方法
1、基本使用方法介绍
JoyCaption Beta one的使用方法非常简单,只需要插件主体节点、加载图片节点、模型加载节点和文本展示节点四个部分组成。
图片
它还有一个额外选项,你可以允许你在反推的提示词加入更多的信息。
具体使用方法大家自行测试一下吧。
图片
在主节点这里,有多种提示词的类型可供选择,使用方法也是和上一个版本一样的。
图片
在加载模型的节点里,选择 bf16 会获得更好的反推效果,当然也需要耗费更多的算力资源。
图片
2、反推测试
载入一张图片测试一下反推效果,文本展示那里给出了一长串提示词。
为了便于察看,我又在反推提示词后面又增加了一个翻译节点,将提示词翻译成了中文。
图片
将翻译后的提示词和原图片放在一起对比一下,会发现提示词对原图细节的还原度还是很高的,像蝴蝶的颜色、甚至位置都描述得非常准确。
图片
3、新功能介绍
这次JoyCaption Beta one更新后最吸引我的地方就是它的"user_prompt"功能 ,我们只要在这里输入我们的指令,就可以更改反推提示词的输出结果。
例如,我输入"将图片风格转变成动漫风格,用英文表达",它在输出的结果中就加入动漫风格的描述。
图片
4、接入flux工作流
将刚刚的反推工作流得到的提示词接入flux工作中,作为提示词使用。
下面是不干涉提示词,直接反推后,用flux文生图得到的结果。
图片
下面是重抽卡得到的图片。
有人说这和原图也不像啊。
其实,我们用的是文生图工作流,你要看生成的图片是不是遵循提示词就行了。我们拿提示词中"蓝白蝴蝶,在女人的头部飞行"和生成的图片对比,就能发现生成的图片还是很准确的。
图片
下面我们测试一下新增的"user_prompt"人为干涉提示词功能效果如何。
下面这张是将图片转为动漫风格的
图片
下面这张是将图片转为3D卡通风格的
图片
下面这张是对人物进行局部修改,将头发改成黑发的效果。
图片
它还可以去掉人物主体,只生成背景图片,只要在提示词中输入"不描述人,只描述风景"就可以。
图片
关于最新版JoyCaption的介绍今天就到这里,后续更多功能,我会在以后文章中再进行介绍。
其它文章:
[comfyui]LaMa物体擦除节点+RMBG抠像节点,实现图片主体艺术线稿效果
史诗级电影镜头,堪比闭源模型,wan2.1_14B_FusionX,6步就可生成高质量AI视频,完全开源
AI让老照片动起来,只要两个步骤就可以轻松实现

END




感谢您的阅读,麻烦点个赞+在看吧!

没有评论:

发表评论

ComfyUI 最强反推插件JoyCaption3,允许人为干涉反推提示词,更快,更猛,更强!

首先,JoyCaption最新发布的版本其实不是3,而是 Beta one,比之前的 JoyCaption 2在功能上有了很大的提升,而且速度更快了,特别是新增了一个"user_prompt"功能,允许我们对反推词进行人为干涉,光这一个功能就甩出其它反推插...