ComfyUI使用腾讯混元文生图大模型Hunyuan-DiT

本教程教大家如何使用ComfyUI来运行腾讯新出的支持中文提示词的混元文生图大模型。一共有两种方法，分别使用不同的插件（ComfyUI_ExtraModels、comfyui-hydit）来实现。注意：如果你没有GPU，那么推荐你使用 ComfyUI_ExtraModels 插件方式使用，虽然 ComfyUI_ExtraModels 不是腾讯官方出品的插件，但是架不住它真的好用（相对），comfy

邓草

422人浏览 · 2025-02-24 03:36:54

邓草 · 2025-02-24 03:36:54 发布

前言

本教程教大家如何使用ComfyUI来运行腾讯新出的支持中文提示词的混元文生图大模型Hunyuan-DiT。一共有两种方法，分别使用不同的插件（ComfyUI_ExtraModels、comfyui-hydit）来实现。

注意：如果你没有GPU，那么推荐你使用 ComfyUI_ExtraModels 插件方式使用，虽然 ComfyUI_ExtraModels 不是腾讯官方出品的插件，但是架不住它真的好用（相对），comfyui-hydit 是腾讯官方出品的插件。

一、使用ComfyUI_ExtraModels

1、下载 ComfyUI_ExtraModels 并安装

ComfyUI_ExtraModels 下载地址：ComfyUI_ExtraModels，下载之后，将其解压放到 custom_nodes 文件夹下，并重新命名为 ComfyUI_ExtraModels，如果是在Windows系统下，使用ComfyUI一键安装包，需要退回到 python_embeded 所在的文件夹下（即 run_cpu.bat 文件所在的文件夹），然后打开命令行窗口，执行如下命令安装依赖：

.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI_ExtraModels\requirements.txt
.\python_embeded\python.exe -s -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui

或者，如果使用了 VENV 虚拟环境，则需要先打开命令行窗口，进入VENV虚拟环境，然后再执行安装命令，比如先执行命令：

.\venv\Scripts\activate.bat

等成功进入 VENV 虚拟环境后，再执行依赖安装命令：

.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI_ExtraModels\requirements.txt
.\python_embeded\python.exe -s -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui

等上述命令执行成功后，再重启Comfy UI即可使用。

或者，如果你已经安装了 ComfyUI Manager，可以打开 ComfyUI Manager 搜索 ComfyUI_ExtraModels 安装重启即可使用。

ComfyUI Manager下载地址：ComfyUI-Manager

2、下载腾讯混元文生图大模型Hunyuan-DiT相关文件

从这里下载第一个文本编码器并将其放入 ComfyUI/models/clip 文件夹下，文件建议重命名为“chinese-roberta-wwm-ext-large.bin”
从这里下载第二个文本编码器并将其放入 ComfyUI/models/t5 文件夹下，文件建议重命名为“mT5-xl.bin”
从这里下载模型文件并将其放入 ComfyUI/checkpoints 文件夹下，文件建议重命名为“HunYuanDiT.pt”
下载/使用任何 SDXL VAE，例如这个，然后将其放入 ComfyUI\models\vae 文件夹下

（可选操作）您也可以尝试以下替代模型文件以获得更快的加载速度/更小的文件大小：

下载第二个文本编码器并将其放入 ComfyUI/models/t5 文件夹下，文件建议重命名为并放入“mT5-xl-encoder-fp16.safetensors"

3、工作流程

这是调用腾讯混元文生图大模型Hhunyuan-DiT的流程图：

也可以下载下图，直接拖放到ComfyUI的web界面上：

二、使用comfyui-hydit

具体操作说明在这里：HunyuanDiT/comfyui-hydit/README.md at main · Tencent/HunyuanDiT (github.com)

# 下载 comfyui源码
git clone https://github.com/comfyanonymous/ComfyUI.git

# 安装 torch, torchvision, torchaudio
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu117

# 安装 Comfyui essential python package
cd ComfyUI
pip install -r requirements.txt

# ComfyUI安装成功!

# 使用huggingface_hub[cli]下载模型，这里要下载的文件内容比较大，几十个G，一般要等比较长的时间
# 你也可以手动下载，然后将其移到 ComfyUI\models\hunyuan\ckpts 文件夹下
# https://huggingface.co/Tencent-Hunyuan/HunyuanDiT/tree/main 这里的文件，需要移到 ComfyUI\models\hunyuan\ckpts 文件夹下
# 然后把 t2i/model 文件夹里的文件移到 ComfyUI\models\checkpoints 文件夹下

python -m pip install "huggingface_hub[cli]"
mkdir models/hunyuan
huggingface-cli download Tencent-Hunyuan/HunyuanDiT --local-dir ./models/hunyuan/ckpts

# 把 comfyui-hydit 移到 ComfyUI 的自定义节点 custom_nodes 文件夹里.
cd custom_nodes
cp -r ${HunyuanDiT}/comfyui-hydit ./
cd comfyui-hydit

# 安装相关依赖.
pip install -r requirements.txt

# 到了这里，所有内容都安装成功了!

# 进入 ComfyUI 主文件夹
cd ../..
# 执行 ComfyUI 运行命令
python main.py --listen --port 80

# ComfyUI 运行成功!

如果上述代码能够直接执行成功，那按照官方操作还是很方便的，就是下载的文件有点多，时间比较久，好像还需要用到GPU。（我的设备比较差，且没有GPU，试了好几次，都没有成功，就放弃了）