Controlnet 最新动态！6款超好用的新模型解析（附下载）

大家好我是花生~

之前为大家系统介绍过 Stable Diffusion WebUI 中 Controlnet 插件的安装使用方法，也系统梳理过各个模型的用法。现在 Controlnet 又有了一些新的模型和功能，今天正好为大家梳理一下。相关模型文件都在文末的云盘链接内，有需要的小伙伴记得下载~

Controlnet 相关推荐：

一、Animal_openpose

Animal_openpose 是一个专门提取狗、鹿、马、豹等四足动物姿势骨架的模型，也可以用来引导人马等奇幻形象的生成。使用时需要：

① 下载 rtmpose-m_simcc-ap10k_pt-aic-coco_210e-256x256-7a041aa1_20230206.onnx 预处理器模型，放到 extensions\sd-webui-controlnet\annotator\downloads\openpose 文件夹内

② 下载 control_sd15_animal_openpose_fp16.safetensors 模型文件，安装到根目录的 extensions\sd-webui-controlnet\models 文件夹中

模型文件安装完成后，在 Controlnet 中启用 animal_openpose 预处理器和模型，按正常流程生成即可。

二、Densepose

Densepose 也是控制人物动作的模型，区别在于 openpose 和 dw_openpose 提取的是骨架图，densepose 提取则是躯干和四肢的轮廓图，它可以判断复杂的姿势重叠，与 Depth 模型搭配使用效果更好。使用时需要：

1. 下载 densepose_r50_fpn_dl.torchscript 文件，安装到根目录的 extensions\sd-webui-controlnet\annotator\downloads\densepose 文件夹中
2. 下载 controlnetFor_v10.safetensors 模型文件，安装到根目录的 extensions\sd-webui-controlnet\models 文件夹中

Densepose 预处理器有 2 种，densepose (pruple bg & purple torso) 生成紫色背景/紫色主体的预览图，densepose_parula (black bg & blue torso) 生成黑色背景/蓝色主体的预览图，使用时按需要选择，控制模型选择 controlnetFor_v10.safetensors 即可。

三、Depth_anything

Depth_anything 是一个新的深度估计模型，相比其他深度模型，它处理的预览图更清晰锐利，并且在处理运动画面时有更好的表现，适合用于 Animatediff 等视频插件。使用时需要下载 control_sd15_depth_anything.safetensors 模型文件，安装到根目录的 extensions\sd-webui-controlnet\models 文件夹中，使用时在 Controlnet 中启用 depth_anything 预处理器和模型，按正常流程生成即可。

四、Depth_hand_refiner

Depth_hand_refiner 是一个专门修复手部畸形的深度模型，预处理器已经内置在最新版本的 controlnet 中了，使用时需要下载 hrnetv2_w64_imagenet_pretrained.pth 模型文件，放到 extensions\sd-webui-controlnet\annotator\downloads\hand_refiner\hr16/ControlNet-HandRefiner-pruned 文件夹中。

生成的图像如果发现手部出现问题，可以将其发送到「图生图-局部重绘」中，先用画笔涂抹手部区域；然后启用 controlnet，上传问题图像，预处理器选 Depth_hand_refiner，模型选 control_v11f1p_sd15_depth，点击生成，就可以将手部问题修复正常了。

五、Ip-adapter_face_id_plus

官方教程： https://github.com/Mikubill/sd-webui-controlnet/discussions/2442

Ip-adapter_face_id_plus 是 Ip-adapter_face_id 的升级版，可以更好地保持人物面部的一致性，用能实现与 Reactor 相似的人物换脸效果。目前共有 FaceID / FaceID Plus / FaceID Plus v2 / FaceID SDXL 4 款模型，每款都有对应的预处理器、控制模型和 lora 模型，使用时的搭配要正确。

准备工作：

1. 使用 face_id 首先需要安装 insightface，具体方式见官方教程。
2. 下载 ip-adapter-faceid-plus_sd15.bin 模型，安装到根目录 extensions\sd-webui-controlnet\models 文件夹
3. 下载 ip-adapter-faceid-plus_sd15_lora.safetensors 模型，安装到 models\Lora 文件夹
4. 下载 buffalo_l 文件夹，放到 extensions\sd-webui-controlnet\annotator\downloads\insightface\models 中

模型安装完成后，启用 controlnet，上传换脸源图像，选择 ip-adapter-faceid-plus 模型和预处理器；填写正向提示词，添加 ip-adapter-faceid-plus_sd15_lora 模型，权重 0.5-0.7；其他生成参数正常设置即可。

六、Softedge_teed

Softedge_teed 是一款新的软边缘处理模型，提取的线条边缘比其他几款预处理器更清晰详细一些。使用前需要：

1. 下载 7_model.pth 模型，安装到根目录 extensions\sd-webui-controlnet\annotator\downloads\TEED 中
2. SD1.5 模型直接搭配 control_v11p_sd15_softedge 控制模型使用；SDXL 模型需要下载 controlnet-sd-xl-1.0-softedge-dexined.safetensors 模型，安装到 extensions\sd-webui-controlnet\models 文件夹中。

七、Controlnet 支持多图像上传

出于 IP-Adapter 模型学习风格的需要，controlnet 插件现在支持同时上传多张图像，只需在上传图像时切换至「Multi-inputs」选项，然后点击 Upload Images 即可。

好啦以上就是本期为大家总结的 SD WebUI Controlnet 插件最近的更新内容，文内提到的模型资源都在下方的云盘链接内。有关于文章的问题可以扫描下方二维码，加入“优设 AI 绘画交流群”，和我及其他设计师一起交流学习。如果你想系统学习 Stable Diffusion WebUI 的用法，可以看看我最新制作的 《零基础 AI 绘画入门指南》，这是一门面向 AI 绘画零基础人群的系统课程，有全面细致的用法教学，并提供配套资源，能帮你快速掌握这款目前最热门的 AI 绘画工具。

参考链接：

1. https://github.com/Mikubill/sd-webui-controlnet/discussions/2387
2. https://www.bilibili.com/video/BV1s94y1M7e4/?spm_id_from=333.337.search-card.all.click&vd_source=7e86aff88430dc49c39de082d6a0f147
3. https://github.com/Mikubill/sd-webui-controlnet/discussions/2575

推荐阅读：