【comfyui教程】ComfyUI原生精确多区域控制！官方最新LoRA和模型权重的遮罩和调度方法

最近ComfyUI迎来了一次新的功能更新，在这次更新中ComfyUI在其调节系统中新加入的两项功能：遮罩**（Masking）和调度（Scheduling）LoRA及模型权重**。这几项功能适用于所有模型，包括最新的Flux模型。并且允许用户更精细地控制模型的行为。遮罩功能使得特定LoRA和模型权重可以被应用到CLIP和调节中，而调度功能则允许这些权重在采样过程中按预定计划变化。在ComfyUI

AI绘画小33

1264人浏览 · 2024-12-13 11:42:08

AI绘画小33 · 2024-12-13 11:42:08 发布

前言

LoRA和模型权重的遮罩和调度

🌹大家好！欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上，我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群！

LoRA和模型权重的遮罩和调度简介

最近ComfyUI迎来了一次新的功能更新，在这次更新中ComfyUI在其调节系统中新加入的两项功能：遮罩**（Masking）和调度（Scheduling）LoRA及模型权重**。这几项功能适用于所有模型，包括最新的Flux模型。并且允许用户更精细地控制模型的行为。遮罩功能使得特定LoRA和模型权重可以被应用到CLIP和调节中，而调度功能则允许这些权重在采样过程中按预定计划变化。在ComfyUI中可以使用Create Hook LoRA和Create Hook Model as LoRA等节点，来实现遮罩分区和调度。通过这些Hook新功能，用户可以更精确地控制模型的行为，特别是在复杂的图像合成任务中，能够根据需要调度和遮罩分区特定的LoRA和模型权重，以达到预期的视觉效果。精准控制多区域绘图，特别对于复杂长图分区域实现尤为重要。

另外，本次更新还包括对ModelPatcher的重构，以及引入了wrappers和 callbacks，使得自定义节点的实现更加简便，减少了插件扩展中需要进行的hack操作，这部分内容将在后续文章介绍。

• 博客主页：https://blog.comfy.org/masking-and-scheduling-lora-and-model-weights/

LoRA和模型权重的遮罩和调度 ComfyUI体验

本次ComfyUI的LoRA和模型权重的遮罩和调度功能更新，适用于所有的模型，当然包括最新Flux模型。本文将以Flux模型为案例演示。与基础Flux文生图环境设置无区别，仅需更新ComfyUI到最新版本。

Flux文生图工作流

Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流：[FLUX[续篇]：12B参数23G最大开源文生图模型，Dev版直出惊艳美图欣赏]

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

在这里插入图片描述

LoRA和模型权重的遮罩和调度工作流

LoRA和模型权重的遮罩和调度工作流已上传LIBLIB平台：

https://www.liblib.art/modelinfo/121276edcd2f48c398c3ee334e6e0749?versionUuid=59fa66cb35a1442fadc49b3efa57e01e

注意：

• 本文中分别采用不同的LORA模型与提示词组结合，使用提示词描述不同的场景，而LORA可以不同权重或LORAO型，形成多样性的风格。当前效果还不是最佳，仍然还需要抽卡解决。如：动漫和写实结合等。

• ComfyUI提供的Hook可以实现更多组分区的组合。但在运行时速率很慢，故笔者选择2组同时结合Flux-FP8模型运行。遮罩也可以使用输入图像人工涂抹实现。同时也可以增加全局提示词输入背景场景等共同画面。

• 该分区控制方案不仅适用于Flux，还适应于SDXL等ComfyUI支持模型。同时也可以调整不同分区使用不用模型。只因笔者本地XL模型LORA已近乎删除。故采用Flux模型演示。

01. 写真

在本例中两个分区都使用了AWPortraitCN LORA模型。LORA详情参见：[[ComfyUI]AWPortraitCN：更真实质感细腻！专门针对国人外貌和审美优化F1模型]



`区域1构图提示词``：An Asian woman  in a black suit in a bar`

`区域2构图提示词``：An Asian woman in a red dress in a bar`

02.酒吧



`区域1构图提示词``：An Asian man in a black suit was sitting on the left side of the table at the bar holding a glass of wine`

`区域2构图提示词``：An Asian woman in a long red dress was sitting at the right side of the table at the bar with a glass in her hand`

03.沙滩



`区域1构图提示词``：Authentic photo style, A leisurely beach in summer. A laid-back penguin.`

`区域2构图提示词``：An Asian woman in a red dress  lies sunbathing on the beach.  background is A blue sky`