Flux.1 生态最新梳理！新增 4 款新模型，支持 Controlnet 和 Lora （附模型/工作流文件）

大家好我是花生~

绘画模型 Flux.1 自推出后，以其超强的图像生成能力迅速受到广泛关注，一跃成为新一代的 AI 文生图模型标杆。 虽然 Flux.1 dev / schnell 模型开源还不到 1 个月，但围绕其进行的生态建设却发展迅猛：目前已经出现了至少 4 种不同的模型版本和几百款 checkpoint 、lora 模型，配套的 controlnet 模型也已经上线，各种基于 flux 的文生图、图生图、高清放大、局部重绘、面部修复工作流也投入了使用，让人惊叹于开源社区强大的生命力。

生态能发展完善肯定是好事，但发展太快也容易让人跟不上。我虽然每天都会特意了解 Flux 的资讯，但还是会被源源不断的新内容弄得眼花缭乱、头皮发麻，更不说屏幕前的无法实时关注的大家了。为了更好地让大家跟上 Flux 的发展节奏，我花了一整天的时间，详细梳理了目前 Flux 生态内的各种模型、插件资源，并整理了对应的使用方法，今天就把最终结果呈现给大家，看完之后你肯定会对 Flux 有一个全面深入的了解。

另外本篇文章的内容将更多集中在新推出的内容上，如果你之前完全没有接触过 Flux.1 模型，推荐先看看下面这篇文章，对其有一个基础了解：

一、不同的 Flux.1 模型版本

除了 Black Forest Labs 官方推出的 2 个开源模型外，开源社区目前也开发出多个不同的版本，它们也都有各自的应用方向。主流的版本如下（扫描文末二维码，进群领取思维导图文件链接）：

1. 如果你有 16G 以及以上的显存，那么官方模型肯定是最好的选择，它们的性能和生图质量是最好的；
2. 其次是 fp8 模型，比原版模型小很多，8G 显存可运行，且关键的文本、细节生成质量没有明显下降；
3. 然后是 @lllyasviel 张吕敏大神发布的 NF4 量化版本。模型变得更小了，生成速度更快，如果在 WebUI forge 中使用共享模式运行，6G 显存也能带动。目前有 v1 和 v2 两个版本，v2 在细节和速度上更优；
4. 最后是 @City96 开发的 3 个 GGUF 量化版本。其中 Q8 的出图效果、速度都优于 fp8，需要 12GB 以上的显存；而 Q4 版本 8G 显存就能带动，生成质量比 NF4 好一些。
5. 注意：这些量化版本的使用许可与原版模型是一致的，即 Dev 不可商用，Schnell 可以商用。

需要注意的是目前开源社区有两个 fp8 模型，它们的名称一样，但大小和加载方法是不一样的：一个由 @ kijai 开发，11.9 GB，在comfyui 中加载时需要配备 clip、vae等模型，适合原版工作流；另一个是 ComfyUI 官方开发的，17.2GB，融合了 clip、vae 等模型，可直接作为普通大模型使用，工作流更简单。为了方便区分，大家最好下载后重新命名，比如 flux1-dev-fp8-kijai 和 flux1-dev-fp8。

目前以上所有模型都可以在 ComfyUI 中运行，NF4 和 GGUF 也支持在新版的 WebUI Forge 中使用。下面介绍一下如何在 ComfyUI 和 WebUI Forge 中安装使用最新的 NF4 和 GGUF Q4 模型。

二、在 ComfyUI 中使用新版模型

首先需要将 ComfyUI 更新到最新版本，然后安装两个拓展插件：

① ComfyUI_bitsandbytes_NF4：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 （用于加载 NF4 模型，通过git clone 安装）

② ComfyUI-GGUF：https://github.com/city96/ComfyUI-GGUF （用于加载 GGUF 模型）

相关模型、工作流文件网盘内都有提供。下载 flux1-dev-bnb-nf4.safetensors 模型后，放到根目录的大模型文件夹，然后加载 comfyui_flux_nf4 工作流。它的用法和普通大模型是一样的，但是不需要负面提示词，其余参数保持默认即可。我生成一张 1024*1024 的图像需要 2-3 分钟，比之前的 fp8 模型快 2 倍。

如果是 GGUF 模型，可先下载适合自己的版本（比如 flux1-dev-Q4_0.gguf ），安装到根目录的 models/unet 中，然后加载 flux_gguf 工作流。由于用到的模型很多，在生成前最好先检查一下每个模块的选择是否正确。

三、在 WebUI Forge 中使用新版模型

WebUI Forge 官网：https://github.com/lllyasviel/stable-diffusion-webui-forge （网盘有 windows 资源包，但之后可能还会更新，推荐直接到官网下载）

首先需要安装 WebUI Forge，官方有提供一键安装包，解压后点击 update.bat 进行更新（不可跳过），然后点击 run.bat 启动程序（启动阶段关闭代理），就能正常使用了。现在的 Forge 有 sd/xl/flux/all 4 种 UI 界面可选，适用于不同的模型。

对于 NF4 模型，先将模型安装到 Forge 根目录的 models\Stable-diffusion 文件夹中，然后启动程序，选择 flux 界面。相关的生成参数如下：

1. 大模型：flux1-dev-bnb-nf4-v2.safetensors
2. 提示词：Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus
3. Steps: 20 / Sampler: Euler / Schedule type: Simple / CFG scale: 1 / Distilled CFG Scale: 3.5

对于 GGUF 模型，先将主模型安装到 models\Stable-diffusion 文件夹中， ae.safetensors 放入 models\VAE 文件夹（注意 vae 尾缀必须为 safetensors ），clip-l 和 t5xxl 放入models\text_encoder文件夹。然后启动程序，选择 flux 界面。相关的生成参数如下：

1. 大模型：flux1-dev-Q4_0.gguf
2. vae/text_encoder: ae.safetensors / clip-l / t5-xxl
3. 提示词：A white street sign that says "I'm pink".
4. Steps: 20 / Sampler: Euler / Schedule type: Simple / CFG scale: 1 / Distilled CFG Scale: 3.5

经测试生成一张 1024*1024 的图像需要 3 分钟左右，速度还是比较快的。

四、Flux Lora 模型资源

目前 Flux 官方及 FP8 版本模型都支持接入 Lora 一起使用，而可用的 Flux Lora 模型也非常丰富，大家可以直接去 Civitai 、LiblibAI 或者 Huggingface 上自行下载安装。下面是一个在线体验 Flux Lora 模型的网站：

网址：https://huggingface.co/spaces/multimodalart/flux-lora-the-explorer

在 ComfyUI 中使用 Flux lora 时，也有 2 款不同的工作流可以使用：一款是基于原生工作流，主模型存放在 Unet 文件夹；另一款是简化工作流，适用于 comfyUI 推出的 fp8 模型，主模型放在 checkpoints 文件夹。

两款工作流文件都可在网盘内下载，分别是 flux-lora-original.json 和 flux-lora-simple.json。载入后记得检查模型的选择是否正确，尺寸、提示词、lora 权重等参数可自定义修改。需要注意的是，一定要在提示词中填写 lora 的触发词（Trigger Words 一般在模型发布页面都有提供），否则模型会不起效果，下图中塔罗lora 的触发词就是 “in the style of TOK a trtcrd, tarot style”。

我们也可以在 webui forge 中使用 lora 模型。模型放在 models\Loras 文件夹中，依旧需要与官方 fp16 模型或者 fp8 模型配合，使用方式和 sd1.5 是一样的：在 lora 版块中点击模型将其添加到提示词中，然后加上 lora 触发词，再点击生成就可以了。Forge 官方表示之后会支持针对 NF4 的 lora。

五、Flux Controlnet 模型资源

目前开源社区有 2 个团队训练出了适用于 Flux 的 Controlnet 模型。这些模型适用于 Flux 官方和 fp8 模型，且运行时对显存占用更高，需要 12G 及以上的 VRAM 才能顺利生成。

首先是 XLabs 团队，推出了 canny、depth 和 hed 三款模型，并更新到了 v3 版本。在 ComfyUI 中使用时，需要先安装 x-flux-comfyui 插件，然后在 custom_nodes\x-flux-comfyui 文件夹中，通过终端运行 pip3 install -r requirements.txt 命令，安装依赖项。

然后将模型放入根目录的 models\xlabs\controlnets 文件夹中，并从 custom_nodes\x-flux-comfyui\workflows 中加载对应的工作流即可使用。另外 XLabs 也发布了多个 flux lora 模型，可以在上面的 huggingface 链接内查看；workflows 文件夹中有对应的 lora 工作流。

1. x-flux-comfyui 插件：https://github.com/XLabs-AI/x-flux-comfyui
2. XLabs 模型下载：https://huggingface.co/XLabs-AI （文末有资源包）

之前为大家介绍过多合一的 Controlnet 模型 controlnet-union-sdxl-1.0 ，现在 Flux 生态也有了同类型的 FLUX.1-dev-Controlnet-Union-alpha 。它由 Xlabs 团队训练，融合了 canny / depth / Pose / Tile 等多种控制条件。目前模型开源可用，但有一些小 bugs 官方正在修复，之后还会发布一个新的版本。

在 ComfyUI 中加载此模型时，需要先安装 ComfyUI-eesahesNodes 插件，然后在 custom_nodes\ComfyUI-eesahesNodes 文件夹内运行 python -m pip install -r requirements.txt 命令安装依赖项。Controlnet 模型文件下载后安装到 models/controlnet 文件夹中，为方便识别最好重命名。

1. 模型链接：https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha/tree/main
2. ComfyUI-eesahesNodes 插件：https://github.com/EeroHeikkinen/ComfyUI-eesahesNodes

那么以上就是本期为大家梳理的 Flux.1 最新动态，如果对你有帮助的话记得点赞、收藏、评论支持一波，我会有更动力为大家推荐新的干货内容~

文内的资源都可以在云盘内下载。ComfyUI 的学习门槛比较高，如果你想掌握它，建议先从 Stable Diffusion WebUI 开始，它更适合初学入门，学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程，包含 Stable Diffusion WebUI 全面细致的用法教学，并提供配套资源，能帮你快速掌握这款目前最热门的 AI 绘画工具。

想了解更多 AI 新鲜资讯的话，欢迎关注 优设 AI 自学网 和优设微信视频号，每天都会分享最新的 AIGC 资讯和神器，让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”，和我及其他设计师一起交流学习 AI 知识~

推荐阅读：