ControlNet 重大更新！直接复制图像风格，可配合 SDXL 大模型使用

大家好，这里是和你们一起探索 AI 绘画的花生~

知名 Stable Diffusion 插件 ControlNet 在 9 月初迎来了一次比较大的更新，新增了 Recolor 和 IP-Adapter 2 个新模型，更重要的是支持 xl 系列的控制模型，可以配合 SDXL 大模型使用，今天就一起来看看如何在 Stable Diffusion WebUI 中使用这些新模型~

往期回顾：

一、Controlnet 插件更新

ControlNet v1.1.4 更新介绍： https://github.com/Mikubill/sd-webui-controlnet/discussions/2039 （重要，必看）

因为要兼容 SDXL 的生态，所以在使用新版 Controlnet 模型前，需要先做好以下准备：

① 将 SD WebUI 更新到 v1.6.0 或之后的版本，Controlnet 也需要更新到 v1.1.4 或之后的版本，使用秋葉安装包的小伙伴可以直接在启动器的「版本管理」内完成更新。

② 开启显存优化。8 ~16GB 的显存（包括 8GB），需要开启中等显存优化“--medvram-sdxl”；小于 8GB 的显存（如 6GB 或 4GB），需要开启低显存优化“--lowvram”。

相关设置完成后，再启动 WebUI，就会在 Controlnet 的预处理器列表中看到新增的 Revision、Recolor 和 IP-Adapter，然后我们要下载新的模型。

二、Controlnet 新模型下载

模型下载： https://huggingface.co/lllyasviel/sd_control_collection/tree/main （文末有资源包）

在此次的更新公告中，ControlNet 官方一共列举了 43 种新的控制模型，其中 3 款是用于 SD1.5 的，其余的都是 XL 系列的控制模型。因为这些模型来自多个不同的开发方，有很多的功能是重复的，所以我们不需要全部下载，只选择一个系列使用即可。比如 Stability AI 推出的 sai_xl 256 系列，或者腾讯推出的 t2i 系列。其余的注意事项包括：

1. 名称带 xl 的控制模型只能与 SDXL 系列的大模型配合使用；
2. 名称带 xl 的控制模型没有配对的 yaml 预处理器；
3. Revision 和 Reference 这 2 款预处理器同样适用于 SDXL，但不需要控制模型。

控制模型下载完成后，放到到根目录的 extensions\sd-webui-controlnet\models 文件夹。回到 WebUI 中， 刷新 controlnet 模型列表，即可看到新安装的 xl 控制模型。

三、适用于 SD1.5 的 2 款新模型

此次更新的 ControlNet 模型虽然大部分都是 XL 系列的，但还是有 2 款适用于 SD1.5，也就是 Recolor （重新上色）和 IP-Adapter （风格迁移），一起来看一下它们的用法。

1. Recolor

Recolor 可以对图像重新上色，具体操作步骤如下：

上传一张黑白图像到 ControlNet 中，勾选启用、完美像素；

预处理选 recolor_luminance，模型选择 ioclab_sd15_recolor；

填写其他生成参数，然后点击生成即可。

1. 大模型：realisticVisionV20
2. 正向提示词：a man with glasses, on the street, high quality, photo
3. 反向提示词：drawing, anime, low quality, distortion
4. Steps: 30, Sampler: DPM++ SDE Karras, CFG scale: 7, Size: 512x512, Clip skip: 2, ControlNet 0: "Module: recolor_luminance, Model: ioclab_sd15_recolor [6641f3c6], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 1, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced"

2. IP-Adapter

Ip-adapter 由腾讯 AI 实验室推出，它可以识别一张图像的风格、材质、内容等特性，迁移运用到新图像中，生成类似的图像，并且可以搭配其他的 ControlNet 模型使用，功能可以理解为简易版的 Lora 模型，具体使用方法如下：

在 ControlNet 中上传一张风格化图像，勾选启用、完美像素；

预处理选 ip-adapter_clip_sd15，模型选择 ip-adapter_sd15；

填写其他生成参数：

1. 大模型：Dreamsharp8
2. 正向提示词：(masterpiece, best quality),1girl with long white hair sitting in a field of green plants and flowers,her hand under her chin,warm lighting,white dress,blurry foreground,
3. 反向提示词：easynegative,(nsfw:1.1),
4. Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 768x768, Clip skip: 2, ControlNet 0: "Module: ip-adapter_clip_sd15, Model: ip-adapter_sd15 [6a3f6166], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced"
5. 点击生成，完成后即可看到一张与参考图像风格类似的新图像。

如果你在使用 Ip-adapter 模型时，控制台出现如下错误提示：

可以去文末的网盘链接中下载 clip_vision 文件夹中的 2 个.pth 文件，安装到 WebUI 根目录的 extensions\sd-webui-controlnet\annotator\downloads\clip_vision 文件夹中，重启后即可正常使用。

四、适用于 SDXL 的控制模型

XL 系列的控制模型也都是 canny、depth、sketch 之类，在功能与 SD1.5 是一样的，所以使用方法也从差不多，但有以下 2 点需要注意：

1. 使用 SDXL 系列大模型时，需要使用 --no-half-vae 模式，即在秋葉启动器中关闭 “VAE 模型半精度优化”选项。
2. 生成的图像尺寸在 1024px 左右为佳，不能低于 768px；

下面以 sai_xl_canny_256lora 模型为例，为大家演示一下 xl 控制模型的用法。

①选择一个 SDXL 系列的大模型，比如 sd_xl_base_1.0 或者 DreamsharpXL10；

②上传一张图像到 ControlNet 中，勾选启用、完美像素、允许预览；

③预处理器选择 canny，模型选择 sai_xl_canny_256lora，点击爆炸小图标预览线稿。

④填写生成信息：

1. 正向提示词：a man wearing glasses,on the street
2. 反向提示词：(nsfw:1.2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg，artifacts,signature,watermark,username,blurry
3. 其他生成参数：Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 2670860720, Size: 1024x1024, ControlNet 0: "Module: canny, Model: sai_xl_canny_256lora [566f20af], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Threshold A: 100, Threshold B: 200, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced", Version: v1.6.0

点击生成后，发现图像效是黑白的，非常模糊，需要进行优化。将 ControlNet 的控制模式改为“更偏向 ControlNet”，并且调整 CFG 数值为 3，再次点击生成，图像就恢复正常了。

就目前在 SD WebUI 中的使用体验来说，用 SDXL 大模型生成一张图像耗费的时间会比 SD 1.5 多很多 ；xl 系列的 ControlNet 模型功能也不稳定，可能会出现问题，且新版的 ControlNet 可能会影响一些其他插件的使用，比如 Deforum。 所以从使用效率的角度来看，我仍然建议大家优先使用 SD1.5 生态内的模型，不必急于使用 XL 模型。

以上就是本期为大家推荐的 ControlNet v1.1.4 的版本更新介绍。喜欢本期内容的话记得点赞收藏支持一波，之后会继续为大家带来更多 AI 绘画干货知识 ~

也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”，和我及其他 设计师 一起交流学习 AI 知识~

如果你想更快速高效地了解 Stable Diffusion，欢迎报名我的课程《AI 绘画入门完全指南》，我会带你了解它的整个生态体系，并系统的讲解 Stable Diffusion WebUI 的用法，之后再出现如 Fooocus、Imagecreator 这样的新工具时，你也能立刻轻松上手！

《AI 绘画入门完全指南》课程链接： AI 绘画入门完全指南（新课特惠） (uisdc.com)

课程形式：录播 + 课程群交流辅导

课程内容：

1. Midjourney 与 Stable Diffusion WebUI 的系统入门教学；
2. 各类实用工具、提示词资源、AI 效率神器分享，附赠花生个人 midjourney 提示词库；
3. AI 绘画工具发展历程梳理，Stable Diffusion 开源生态体系介绍，帮初学者补全信息差；
4. AI 绘画版权问题解析，帮使用者避开潜在风险，保护自身权益。

推荐阅读：