Mac环境ComfyUI部署JoyCaption2实现图片反推

一、图片反推利器JoyCaption2介绍

JoyCaption2是一款很优秀的图片反推模型，可以根据图生文(或图片打标)，支持多模态语义理解、智能标签优化、并支持与ComfyUI集成。下面介绍Mac环境下插件的安装和使用：

二、软件版本信息

• 操作系统：MacOS Sequoia 15.3.2
• Python版本: 3.12.8
• ComfyUI版本: ComfyUI v0.3.26, ComfyUI_frontend v1.11.8
• 关键ComfyUI插件:
  • ComfyUI_SLK_joy_caption_two：JoyCaption2插件，必装，稍后介绍
  • ComfyUI-Manager：插件及模型管理器
  • ComfyUI-Custom-Scripts：好用的自定义脚本的扩展插件
  • AIGODLIKE-ComfyUI-Translation：ComfyUI界面翻译插件
  • ComfyUI_Custom_Nodes_AlekPet：文本翻译插件

三、安装步骤：

可参考官方文档 进行手工安装，下面内容针对Mac环境进行了适当调整：

1. 插件安装

把仓库下载克隆到 custom_nodes 子文件夹下：

cd custom_nodes
git clone https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two.git

修改requirements.txt，根据mac后面遇到的问题进行修改： 将huggingface_hub改为>=，将bitsandbytes版本改为>=0.42.0，因为mac没有0.44.1的版本，具体如下：

huggingface_hub>=0.23.4
transformers>=4.44.0
numpy==1.26.4
sentencepiece==0.2.0
pillow>=10.4.0
bitsandbytes>=0.42.0
peft>=0.12.0

安装依赖：

pip install -r ComfyUI_SLK_joy_caption_two\requirements.txt

2. 模型下载

• google/siglip-so400m-patch14-384:视觉编码器，使用huggingface-cli来整体下载，并把siglip-so400m-patch14-384内的全部文件复制到models/clip/siglip-so400m-patch14-384
• unsloth/Meta-Llama-3.1-8B-Instruct：语言大模型，务必下载此 8B 版本，bnb-4bit 版本因 bitsandbytes 版本问题在 Mac 上不被支持。下载完成后，将整个文件夹内容复制到models\LLM\Meta-Llama-3.1-8B-Instruct路径下。
• Joy-Caption-alpha-two：核心推理模型（版本2024-09-26a），必须手动下载:鉴于该工程在 huggingface 上属于 space，下载指令如下：huggingface-cli download --token 替换为你的token spaces/fancyfeast/joy-caption-alpha-two --local-dir joy-caption-alpha-two；然后将 Joy-Caption-alpha-two 下的cgrkzexw-599808 文件夹的所有内容下载复制到models/Joy_caption_two 下。

3.重启ComfyUI生效

四、示例工作流

工作流支持图生文，批量处理，个性化扩展配置。

下载地址如下：JoyCaption2-comfyUI-example.json

五、常见问题解决：

1. ImportError: Using bitsandbytes 4-bit quantization requires the latest version of bitsandbytes: pip install -U bitsandbytes：此问题是由于 Mac 系统中的 bitsandbytes 版本过低，且当前无更高版本可供使用。解决方案为采用unsloth/Meta-Llama-3.1-8B-Instruct的 8B 版本，避免使用 bnb-4bit 版本。
2. 报错huggingface_hub版本太低：因其他工具依赖更高版本，可通过修改 requirements 文件，将 huggingface_hub 改为 “>=” 形式。

参考资料：

• 【JoyCaption2】ComfyUI最新最强反推打标节点安装部署与玩法技巧详解-哔哩哔哩
• ComfyUI_SLK_joy_caption_two 官方说明文档