万能模型 ControlNet Union ！10+控制效果一键生成！

大家好，这里是和你们一起探索 AI 的花生~

Controlnet 可以说是目前最重要的一款 AI 绘画控制插件，可以帮我们实现轮廓、深度、动作姿势、颜色等多种控制效果。由于每种控制条件都需要调用不同的控制模型，加上 SD1.5 和 SDXL 的生态并不互通，大家肯定都至少安装了十几种模型文件，给磁盘空间带来了很大的压力。

最近一款名为 ControlNet++ 的模型却改变了这个状况，它将十多种控制功能合为一体，只需要安装一个模型，就能和多种不同的预处理器搭配使用，今天就来看看它的具体用法。

相关推荐：

一、ControlNet++简介

ControlNet++，也称为 ControlNetPlus，目前更普遍的称呼是 Controlnet Union，它是一款新训练的 ControlNet 控制架构，融合了 10 多种控制模型，适用于 SDXL 1.0 生态。与独立控制模型相比，它的处理效果没有明显下降，使用起来也非常方便，所以推出后很快就受到了广泛关注。

Controlnet Union 融合的控制类型一共有 13 种，可以分为 6 大类：

1. openpose 动作姿势
2. depth 深度
3. thick line 粗线条 (包括：scribble / hed / softedge / ted-512 )
4. thin line 细线条 (包括：canny / mlsd / lineart / animelineart / ted-1280 )
5. normal 法线贴图
6. segment 语义分割

除了单独使用，Controlnet Union 也支持多重控制。也就是我们可以同时开两个控制窗口，使用不同的预处理器，然后同时选择 Controlnet Union 做为控制模型，这样运行起来显存压力更小。

Controlnet Union 的模型权重已经开源，目前 SD WebUI 和 ComfyUI 都可以使用，下面介绍具体的安装方法。

二、在 SD WebUI 中使用

模型下载链接： https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main （文末有资源包）

从 Huggingface 上下载名为 diffusion_pytorch_model.safetensor 的模型文件，为了方便识别，将其名称改为 controlnet++_union_sdxl.safetensor，然后放到根目录的 extensions\sd-webui-controlnet\models 文件夹中。

将 Controlnet 插件更新到最新版本，然后启动 WebUI，就能在 Controlnet 控制列表里看到 controlnet union 的选项了，使用时记得选择 SDXL 系列的大模型。我的显存是 8G，在用 controlnet union 时出现了内存不足的报错，但是使用独立模型时不会有这样的问题，感觉 union 还是会需要更高的 VRAM。

另外 controlnet union 目前不适用于以下预处理器：

1. 带面部和手部的姿势骨架的模型，比如 openpose_full，openpose_hand、openpose_faceonly 等，因为 union 没有对这些内容进行训练，生成的图像会出现错误。
2. seg_ofade20k 语义分割预处理器。

三、在 ComfyUI 中使用

如果想在 ComfyUI 中使用 Controlnet Union，同样先下载文件，改名后并安装到 ComfyUI\models\controlnet 文件夹，或者 SD WebUI 共用路径中的 models\controlnet 文件夹中（模型资源可以在文末资源包中下载）。

下图是一个最基础的 controlnet 调用工作流（文末资源包可下载），在 ComfyUI 中运行起来非常顺利，没有出现爆显存的情况。运行此工作流前，需要注意：

1. 图像尺寸记得与上传的图像保持一致；
2. 选择 SDXL 大模型，如果模型不同，生成步数、CFG、采样器等参也需要同步修改；
3. 检查是否正确地选择了 controlnet union 模型。

我还搭建了一个多重控制工作流，可以同时使用两种控制条件（超过两个后 controlnet union 的效果就会变差），使用时可以多尝试不同的 contorlnet 强度，获取更好的效果。对于新手来说，可以先熟悉这两个基础工作流的节点构成，等熟悉之后就能将 controlnet union 结合到其他更复杂的工作流中了。

那么以上就是对新的 AI 绘画控制模型 Controlnet Union 的介绍，从总体上来说它的效果还是不错的，而且使用更方便，也省空间，非常推荐大家都使用。当然如果你想要更精致的出图效果，用最新的独立模型效果肯定会更好。

文章相关链接：

1. https://github.com/xinsir6/ControlNetPlus/blob/main/README_zh.md
2. https://github.com/Mikubill/sd-webui-controlnet/discussions/2989

如果你还不了解 Stable Diffusion 的用法，可以看看我最新制作的 《零基础 AI 绘画入门指南》，这是一门面向 AI 绘画零基础人群的系统课程，有全面细致的用法教学，并提供配套资源，能帮你快速掌握这款目前最热门的 AI 绘画工具。

想了解更多 AI 新鲜资讯的话，欢迎关注 优设 AI 自学网 和优设微信视频号，每天都会分享最新的 AIGC 资讯和神器，让你轻松掌握 AI 发展动态。如果有关于文章的问题，欢迎在评论区留言，或者下方的二维码加入“优设 AI 绘画交流群”，和我及其他 设计师 一起交流学习 AI 知识~

推荐阅读：