5000字干货！盘点2023年Stable Diffusion GUI工具及其创作生态

正文开始之前，这里先用一句话概括性的介绍一下 Stable Diffusion：它是一种基于深度学习的文本到图像的生成模型。能够根据文本描述创造出丰富多样且具有高质量和细节的图像。它的生成模型是通过大规模图像及其描述的数据集训练而成，所以生成的图像在保持高创造性的同时，还具有较高的高分辨率。另外因其开源性质和强大的功能在 AI 绘画领域具有重要的地位。具体的原理这里就不展开讲了，我们只需要知道它是一种能够通过文本描述生成图像的 AI 绘画工具就够了。

2023 年是 AI 相关技术井喷式爆发的一年，在 AI 绘画领域同样发展迅猛，市面上形形色色的操作界面，看的大家眼花缭乱。Stable Diffusion 作为 AIGC 领域的领头羊，今天我们就来盘点一下以它为基础衍生而来的应用。盘点之前先将市面上的应用进行一下分类，可以简单的把它们分成两个阵营：一边是广为人知、处于市场主导地位的“大咖”，另一边则是那些较少人知，但同样充满创意的“小众选手”。

首先来介绍一下 Stable Diffusion 背后的公司 Stability AI 推出的几款应用

1. Clipdrop

2023 年 3 月 Stability AI 为了扩大 Stable Diffusion 模型的安装，收购了 Clipdrop 背后的母公司 Init ML。Clipdrop 是一个利用 AI 来自动帮助用户完成照片编辑的应用，截至到收购之前已经积累了 1500 万用户。用户可以通过 Clipdrop 自动提高低分辨率图像的清晰度，裁剪照片中的个别元素、删除背景等。stability AI 将其收购后，对 Clipdrop 进行了一系列升级，把 SD（Stable Diffusion 的简称）的一些功能整合到了平台上。目前提供包括文字消除、背景移除和替换、图像放大、重新照明、物体移除、草图创建、图像变体和扩展，以及使用新模型 SDXL 进行图像生成等多项功能，而且这些都可以免费使用，无需注册账号。当然对于那些需要更多服务的用户，平台也提供了付费订阅方案。

2. Dream Studio

Dream Studio 是由 Stability AI 官方推出提供算力的积分付费平台，每个新账户赠送 25 积分，积分价格是 1000 积分 10 刀，大约可以生成 5000 张默认设置的图片，相比于传统的订阅模式，这种支付方式更加灵活友好。对于不同的模型，积分消耗也有所不同。目前有两种模型可供选择，SDXL v1.0 模型生成步数 40 需要 0.91 积分，SD v1.6 模型生成步数 40 需要 1.07 积分。Dream Studio 整体的界面设计极为友好，还提供了画布编辑功能，可以更加方便的使用局部填充和图像扩展。

3. StableSwarm UI

最后一个由官方推出的 GUI 是与 SDXL（Stable Diffusion 的最新优化版本：Stable Diffusion XL，目前更新到了 v1.0）同时发布的 StableSwarm UI。乍一看，它的界面似乎与 Dream Studio 高度相似，但实际上它们之间还是有所区别的。StableSwarm UI 的独特之处在于，它实质上是一个以 Comfy UI 作为后端服务的前端界面。根据官方在其周刊中的介绍，Swarm UI 结合了 Comfy UI 的强大功能、Web UI 的用户友好性以及 Stable Studio 的高品质体验，它的目的是将这三者的优势融合在一起。当然，这只是官方的宣传语，水分还是挺大的，实际的使用体验差强人意，还有很大的提升空间，希望未来能有更多的改进。

4. InvokeAI

目前 InvokeAI 已经更新到了 3.1 版本，全面支持了 SDXL 新模型，并且推出了与 Comfy UI 类似的节点式工作流界面。结合其本身就具备的画布功能，使重绘和图像扩展变得更加方便。

5. SD.Next

SD.Next 是从 Web UI 衍生出来的产品，其优势在于它不仅支持 Stable Diffusion 1.5/2.1/XL 模型，还兼容了 LCM、Segmind、Kandinsky、Pixart-α、Würstchen、aMUSEd、DeepFloyd IF、UniDiffusion、SD-Distilled、BLiP Diffusio、etc等多种扩散模型。此外，它适用于各种运行环境，并且拥有非常简洁友好的UI界面和各种主题。

6. voltaML-fast-stable-diffusion

voltaML-fast-stable-diffusion 是一个开源项目，安装简单，界面简洁干净，非常适合新手学习。并且有文档化的 API 接口，在速度上也有不小的提升。

7. Stable Diffusion online

Stable Diffusion Online 是一个提供在线免费的网站。它不仅提供了一种简单直观的操作界面，还特别增加了 Web UI 的界面设计，方便那些更喜欢或更习惯 Web UI 的用户。此外网站还提供了 ControlNet 提示词生成器和丰富的提示词库等功能。网站完全免费使用，无需注册账户，特别适合初学者和对此领域感兴趣的新手尝试。

8. Hugging Face

Hugging Face 对经常使用 SD 的朋友应该都很熟悉，大家应该或多或少都在上面下载过各种模型，这里简单介绍一下它，它起初是一家致力于聊天机器人的初创公司，因其在 GitHub 上开源的 Transformers 库（预训练语言库），意外地在机器学习社区获得了广泛的关注和赞誉。现在该平台已经成为机器学习领域的核心，拥有超过 100000 个预训练模型和 10000 个数据集，大大降低了机器学习模型的门槛。它的开放文化吸引了全球广泛的用户和业界专家参与其中。在国内 Hugging Face 的应用也十分广泛，特别是在 NLP（自然语言处理）工程师中，熟悉其 Transformer 库已成为标准要求。该平台为初学者提供了易于上手的数据集和模型，简化了机器学习的入门过程。正是因为它开放的文化，目前平台汇集了众多大神部署的各类模型，这些模型可以免费使用，体验非常方便。唯一的小缺陷在于平台太过于热门，有些时候需要较长的等待排队时间。

9. Playground

最后一个体验不错的就是 Playground Ai，用户可以免费使用 Stable Diffusion 模型，每天最多可以免费创建 1000 张图像，并且允许商用。同时平台也提供了付费订阅选项，付费用户可以使用更多模型比如 Dall-e2 等。生成图像后，可以实时预览和编辑，如调整亮度、对比度、饱和度、色彩等，甚至添加滤镜、边框、水印等效果。完成后可以通过独立链接分享或直接下载保存。感兴趣的朋友们可以去尝试体验一下。

AI 王者：Web UI

接下来是目前最受欢迎的 Stable Diffusion WebUI，它是一个基于 Web 网页形式展现的图形用户界面，用于管理和控制 Stable Diffusion。提供了直观、易于使用的界面。让用户不需要复杂的编程技能或深入的技术知识也能使用这个强大的图像生成技术。用户可以通过一个简单的界面输入文字描述，系统会根据这些描述生成相应的图像。WebUI 虽然非常方便用户的使用，但对本地算力有一定的要求，需要有较好的显卡才能满足程序运行。因为 WebUI 是紧随 SD（Stable Diffusion）发布的，以开源、易用插件众多的特点迅速成为了主流选择。对于使用 SD 的用户来说，大部分都始于 WebUI，因此 WebUI 在很多人心中已经成为了 Stable Diffusion 的代名词。

潜力股：Comfy UI

目前 Comfy UI 正以独特的特性和能力正迅速成为 AIGC 领域的焦点，它能够让用户通过连接各种模块（节点）来创建复杂而独特的图像生成流程。不仅可以作为图形用户界面使用，还能作为一个强大的后端服务，比如在电商领域非常火爆的 Krita＋Comfy UI 实时出图，这里 Comfy UI 就是作为后端使用的，包括前文提到的 StableSwarmUI 也以 Comfy UI 为后端的项目。如果用过 OC 渲染器的同学对它节点式的界面不会感到陌生，即使是初学者也能通过拖放操作轻松连接不同的节点，完成文生图和图生图的流程搭建，如果连接错误它会很直观的告诉你哪里有错误。

开源也让它拥有非常多不同种类的模块，从简单的入门到高级复杂的进阶功能，能够适应各种不同的项目需求，灵活定制属于自己的工作流。支持 SD1.5、SDXL、LCM 模型，涵盖动画生成、Inpainting、ControlNet 等高级功能。同时对硬件的要求也很低，即使没有 GPU 也可通过 CPU 运行，方便更多的用户使用。

与其他工具相比，Comfy UI 创新的差异化能力，为用户提供了更多的扩展性和应用可能性，让用户根据自己的需求创造个性化的生成流程。从最近的发展趋势上看，Comfy UI 展现出了前所未有的潜力，隐隐的有种王霸之气显露出来。

抽卡的快乐：Fooocus

Fooocus 也是以 Comfy UI 作为其底层架构的项目，它的主要目标是将 Stable Diffusion 的交互体验简化为提示词和图像这一核心逻辑。所以它通过简化界面，并对 SDXL 模型做了大量优化和质量改进的措施，提供了一个非常易于使用的平台，特别适合那些不需要进行复杂调整的用户，只需简单的提示词，就能生成高质量的图像，单纯享受抽卡的乐趣。如果没有条件使用 Midjourney 想白嫖的话，Fooocus 是很好的选择。

Fooocus 同样支持放大、变化、Inpaint/Outpaint、风格化等多种图像处理功能。对硬件的要求相对友好，最小 GPU 内存需求为 4GB，适用于更多类型的设备，特别是配置较低的电脑。

在广受欢迎的同时，有网友就希望开发者能把 ControlNet 等好用的工具加入其中。尽管 Fooocus 的开发者和 ControlNet 的创作者是同一人，但他决定不将 ControlNet 集成到 Fooocus 中。因为加入 ControlNet 等工具可能会使 Fooocus 渐渐演变成类似 webui 的复杂系统。

针对希望将 ControlNet 等工具集成到 Fooocus 中的需求，github 社区有开发者创建了 Fooocus-MRE。这个版本在保持原始 Fooocus 界面逻辑的同时，加入了 ControlNet 和图生图等常用工具。虽然底层不同，但界面逻辑上看，MRE 版 Fooocus 已经非常接近 webui。

在探索 Stable Diffusion 及其 GUI 时，会发现不同界面之间既有联系也有区别，它们共同构成了一个互补的生态系统。无论用户的需求是追求操作简便性、更高级的定制功能，还是特定的用户体验，都能在这个多样化的 GUI 中找到合适的选择。例如，对于追求简洁性的用户，Fooocus 提供了一个直观易用的选项；而 MRE 版本则适合那些寻求更多功能的用户。对于喜欢图文框式操作的用户，WebUI 提供了丰富的插件和灵活的界面；而 Comfy UI 则满足了专业用户对定制化和自动化的需求。通过这种多元化的选择，Stable Diffusion 的 GUI 展现了其在满足不同用户需求方面的强大能力和灵活性。

碎碎念：AIGC 的发展对设计行业的冲击相信大家都有所体会，本着打不过就加入，我们需要时刻保持学习的态度，去研究和拥抱它。从最近各大厂商发布的文章和一些社交媒体发布的内容来看，Comfy UI 可能是下一步重点的研究方向，我接下来也会写一些教程类的文章，感兴趣的朋友可以关注我后续的动态。

今天的文章就到这里感谢各位的阅读，bye~

参考文献：

1. https://zhuanlan.zhihu.com/p/637418467?utm_id=0
2. https://zhuanlan.zhihu.com/p/643420260
3. https://zhuanlan.zhihu.com/p/535100411
4. https://developer.aliyun.com/article/1244391

欢迎关注作者微信公众号：「五幺六」