最强开源模型来了！一文详解 Stable Diffusion 3 Medium 特点及用法（附模型资源包）

大家好，我是花生~

备受期待的 Stable Diffusion 3（以下简称 “SD3”）终于向公众开放了，作为 Stability AI 迄今为止最先进的文本到图像开源模型，SD3 在图像质量、文本内容生成、复杂提示理解和资源效率方面有了显著提升，今天就为大家详细介绍一下 SD3 的特点以及如何在 ComfyUI 中使用它。

相关推荐：

一、SD3 简介

此次开放的模型准确来说是 Stable Diffusion 3 Medium，包含 20 亿参数，具有体积小、适合在消费级 PC 和笔记本电脑上运行的优点，所以普通人也可以将其部署到自己的电脑上使用。SD3 Medium 的优点包括：

① 图像质量整体提升，能生成照片般细节逼真、色彩鲜艳、光照自然的图像；能灵活适应多种风格，无需微调，仅通过提示词就能生成动漫、厚涂等风格化图像；具有 16 通道的 VAE，可以更好地表现手部以及面部细节。

② 能够理解复杂的自然语言提示，如空间推理、构图元素、姿势动作、风格描述等。对于「第一瓶是蓝色的，标签是“1.5”，第二瓶是红色的，标签是“SDXL”，第三瓶是绿色的，标签是“SD3”」这样复杂的内容，SD3 依旧能准确生成，而且文本效果比 Midjourney 还要准确。

③ 通过 Diffusion Transformer 架构，SD3 Medium 在英文文本拼写、字距等方面更加正确合理。Stability AI 在发布 SD3 官方公告时，头图就是直接用 SD3 生成的，效果非常惊艳。

另外此次 SD3 Medium 模型的授权范围是开放的非商业许可证，也就是说没有官方许可的情况下，模型不得用于商业用途，这点是需要大家注意的。

二、在 ComfyUI 中使用

SD 3 Medium 模权重已经在 huggingface 上放出了， 我们可以在 ComfyUI 部署工作流来使用它，具体操作如下：

① 将 ComfyUI 更新到最新版本，以支持 SD3 的顺利运作。

② 下载模型权重： https://huggingface.co/stabilityai/stable-diffusion-3-medium （下载时需要先填写一份表格，保证自己不会将模型用于商用用途；可以直接在文末的百度云盘内下载）。官方提供了 4 种大模型文件：

1. sd3_medium：4.3G，独立主模型，不包含文本编码器（clip 模型）；
2. sd3_medium_incl_clips.safetensors：5.97G，包含 clip_g 和 clip_l 编码器；
3. sd3_medium_incl_clips_t5xxlfp8.safetensors：10.9G，包含 clip_g、clip_l 和 t5xxl_fp8 编码器；
4. sd3_medium_incl_clips_t5xxlfp16.safetensors：15.8G，包含 clip_g、clip_l 和 t5xxl_fp16 编码器。

③ 另外还有 4 个 Clip 文件和 3 种工作流。大模型的安装位置为根目录的 comfyui/models/checkpoints 文件夹，Clip 模型的安装位置为 comfyui/models/clip 文件夹。实际应用中不需要每一个模型都下载，后面会为大家介绍目前使用较多的 2 种工作流，可以看完之后再确定下载哪些文件。

SD3 工作流 ①

这个使用的是官方提供的 basic 基础 工作流，可以在 comfyui_example_workflow 文件加中下载使用 。这个工作流需要用的模型文件有 4 种：sd3_medium、clip_g、clip_l 和 t5xxl_fp8。这是最完整稳健的一种工作流。

SD3 工作流 ②

这个工作流可以在云盘内下载，它只使用了一个模型文件 sd3_medium_incl_clips_t5xxlfp8.safetensors。这个模型已经融合了 3 种 clip 模型，所以不再需要 clip loader 这个节点，用起来更简单。

使用 SD3 时，还有 2 个小技巧可以帮我们提升出图质量：

① 是在生成写实照片以及人物面部的，可以将 cfg 参数参数调低至 2-3 之间，细节和质量会更好；包含文本时，还是使用 cfg 4.5 或者 5 时效果会更好。大家也可以多探索一些其他 cfg 参数能产生的效果。

② SD3 模型更适合自然语言提示词，而不是标签式的提示词，你可以详细描述你需要的画面内容、构图、色彩、氛围，即使提示词很长，SD3模型也能处理的很好。

三、SD3 存在的不足

虽然 SD3 在图像质量、细节、对提示词的理解、文本内容生成能力上有了明显提升，但是也存在一些不足，比如在生成手部的时候依旧会出现错误，以及在生成 “lying（躺）” 这个姿势时，人物会出现严重的崩坏。有人推测是因为 SD3 对内容安全有严格审查，导致相关内容受到影响。

不过总体上来说 SD3 在图像生成质量以及整体性能上都比之前的 SD1.5、SDXL 提升很多。虽然有 Midjourney V6 以及 sdxl 微调模型珠玉在前，让 SD3 显得没有那么惊艳，但是作为一个免费的模型能达到这样的效果已经非常惊人了。

之前 SD1.5、SDXL 模型的直出图像质量一直也不太行，但是在开源社区的努力下，各种衍生模型的质量一直都非常不错，甚至超过了一些闭源模型。所以我们可以期待一下 SD3 未来的生态发展，等各种微调模型以及 Controlnet、IP-Adapter 这些的配套模型都跟上之后，SD3 肯定还能给我们带来新的惊喜。

以上就是本期为大家介绍的最新开源文生图模型 SD3 的相关内容。模型资源以及工作流文件都在文末的百度网盘内容，有需要小伙伴记得下载。

ComfyUI 的学习门槛比较高，如果你想掌握它，建议先从 Stable Diffusion WebUI 开始，它更适合初学入门，学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程，包含 Stable Diffusion WebUI 全面细致的用法教学，并提供配套资源，能帮你快速掌握这款目前最热门的 AI 绘画工具。

如果有关于文章的问题，欢迎在评论区留言，或者下方的二维码加入“优设 AI 绘画交流群”，和我及其他 设计师 一起交流学习 AI 知识~

相关链接：
官方 SD3 介绍： https://stability.ai/news/stable-diffusion-3-medium
SD3 授权范围详情： https://stability.ai/license

推荐阅读：