大家好,这里是和你们一起探索 AI 绘画的花生~
前段时间 Stabilty AI 官方发布了一个开源模型 SDXL Turbo,它和我们之前讲过的 LCM 一样,只需 1-4 步就能完成图像生成,同时图像质量依旧保持的不错。如果将 SDXL Turbo 部署到本地, 我们就可以免费在自己电脑上实现 AI 图像实时生成
今天就为大家推荐几种在本地部署使用 SDXL Turbo 模型的方法,包括 Stable Diffusion WebUI、ComfyUI 和 Fooocus,经测试可以将图像的生成速度提升 6-10 倍;还可以借助屏幕捕捉插件实现类似于 Krea AI 的实时绘画效果。
SDXL Turbo 官方线上体验途径: https://clipdrop.co/stable-diffusion-turbo
相关推荐:
Civitai 上有位大神将 LCM 和 SDXL Turbo 融合成了一个新模型,安装到 SD WebUI 中后就能实现图像实时生成。(附件有资源包)
首先我们需要将 SD WebUI 更新到最新版本,然后下载上方的 RealitiesEdgeXLLCM_TURBOXL 大模型,安装到 WebUI 根目录的 models/stable diffusion 文件夹中。文末资源包中还有一个 sdxl vae 文件,安装到根目录的 models/VAE 文件夹中。
进入 WebUI 后,进行如下设置:
- 大模型:RealitiesEdgeXLLCM_TURBOXL,VAE:sdxl vae
- Clip Skip 数值调整为 1;采样步数 4-10 之间;CFG Scale 参数 1-2;尺寸 1024px 左右;采样器使用 Euler A 或者 LCM 都可以。
经测试在 8G 的 4060 上生成一张 1024*1024px 的图像仅需 8 秒,比使用 SDXL 1.0 base 模型的快了 8 倍,并且图像质量依旧保持得很好。
这个大模型还可以配合 SDXL Controlnet 使用。下图是我用 sai_xl_canny 控制模型生成的 1024*1024 px 的图像,生成时间 13 秒,比用 SDXL 1.0 Base 模型的生成速度要快上六七倍。
如果你还没有安装 SDXL Controlnet 模型,可以看我之前写的 《SDXL controlnet 安装使用教程》 。想学习如何使用 Stable Diffusion WebUI 的话,欢迎了解我最新制作的 《零基础AI绘画入门完 全 指南》 ,我会系统讲解 Stable Diffusion WebUI 的基础用法和使用技巧,帮你掌握图生图、文生图功能以及当下最热门的控制插件 Controlnet。
Fooocus 之前已经为大家介绍过了,它是一款非常轻便简单的免费 AI 绘画工具,融合了 Midjourney 和 WebUI 的优点,专注于 SDXL 模型,所以 SDXL Turbo 也可以在 Fooocus 中使用。
使用方法:
①下载安装 Stabilty AI 官方发布 sd_xl_turbo_1.0_fp16 模型,安装到根目录的 Fooocus\models\checkpoints 文件夹中。(文末有资源包)
②进入 Fooocus 操作界面,勾选 Advanced 选项,在右侧选项栏进行如下设置:
在 Model 版块内,选择大模型 sd_xl_turbo_1.0_fp16;refiner 选择无;
在 Advanced 区域内,将 Guidance Scale 参数设置为 1-4 之间,勾选 Developer Debug Mode,在弹出的选项款内,将 Sampler 修改为 euler_ancestral;将 Forced Overwrite of Sampling Step 参数改为 1;将 Forced Overwrite of Generating Width 和 Height 参数都修改为 512。
设置完成后就可以点击生成了,经测试生成一张图像仅需 2 秒,不过质量也稍微下降了一点。其实就 Fooocus 的一贯风格来说,上面的设置步骤其实算复杂的了。这是因为 SDXL Turbo 刚出来不久,而 Fooocus 的作者目前也正在忙,没有进行相应的兼容设置。我们可以也等待一下 Fooocus 的后期更新,用起来应该会更方便。
零基础 ComfyUI 入门教程:
在 ComfyUI 中部署 SDXL Turbo 后,生成一张图像只需 0.3 秒,生成的图像会随输入的提示词实时变化,做到真的“实时生成”。具体操作方式如下:
①下载 Stabilty AI 官方发布 sd_xl_turbo_1.0_fp16 模型,安装到 ComfyUI 的模型根目录中(如果是与 WebUI 共用模型,则放到 WebUI 根目录的模型文件夹中),ComfyUI 需要更新到最新版本(文末有资源包)
②进入 ComfyUI 部署实时生成工作流。可以按下方图像手动自动布置,或者直接去文末资源包中下载 flow 节点文件。工作流中的数值设置依旧需要注意:
设置参数也需要注意:采样步数设置为 1 即可;CFG Scale 参数为 1-2 之间;采样器选择 LCM,图像尺寸目前只能是 512*512,过高会出现画面崩坏(算是目前的一个小缺陷,后期官方应该会修复);
在右侧工具栏中启用 Auto queue 自动生成选项;这样工作流会自动启动,只需输入提示词就能体验到实时生成的效果。
现在还有一个 ComfyUI 屏幕捕捉插件 mixlab nodes,支持将电脑的其他界面接入 ComfyUI,与 SDXL Turbo 模型结合,实时引导新图像生成,比如图片、视频、Photoshop、Blender 等,效果类似 Krea AI。具体操作如下:
插件地址: shadowcz007/ c omfy u i-mixlab-node s (github.com)
1)安装好 mixlab nodes 插件和 sd_xl_turbo_1.0_fp16 大模型,ComfyUI 需要更新到最新版本;
2)需要安装涂鸦线条类的 sdxl controlnet 模型 ,比如 t2i-adapter_xl_sketch 或者 sai_xl_sketch_256lora;
3)进入 ComfyUI 后,按下图部署工作流(文末资源包有 flow 节点文件);
4)工作流部署成功后,在电脑中打开你需要接入应用(比如 Ps ),然后点击 ScreenShare 节点中的「Share Screen」选项,从弹出的列表中选择对应的窗口进行屏幕共享。
5)再点击 ScreenShare 节点中的「Set Area」选项,从目标窗口中框选制定区域,只让画布区域被插件捕捉。
6)然后点击 「Live Run」选项,在目标区域区域内绘制内容,每次笔画的改动都会对最终生成的内容造成影响。
有了屏幕捕捉插件 mixlab nodes,我们还可以借助之前推荐的 lcm-lora 插件 ,在 ComfyUI 中实现另一种方式的图像实时生成。相比 SDXL Turbo,lcm lora 的优势在于可以配合大部分的 SD1.5 和 SDXL 大模型使用,生成的图像风格更多样,尺寸也可以自由设置。
了解 lcm lora:
相关工作流如下图,文末资源包中有 flow 节点文件可以直接使用。运行前需要先下载 lcm-lora-sdv1.5 和 lcm-lora-sdxl 这 2 个 lora 文件安装到根目录中,屏幕捕捉的操作方式和前面的一样,使用时需要注意的点是:
- 如果选择的是 sd1.5 的大模型,那么 lora 模型需要选择 lcm-lora-sdv1.5,controlnet 模型需要选择也是 sd1.5 的;
- 如果选择的是 sdxl 的大模型,那么 lora 模型需要选择 lcm-lora-sdxl,controlnet 模型需要选择也是 sdxl 的,另外图像的尺寸也不要低于 768*768px。
设置成功后,在目标区域内绘制草稿,即可实现实时绘图。我测试后发现效果的确不错,相当于我们自己在电脑上部署了一个 Krea AI,对做概念设计来说非常方便。
以上就是在 Stable Diffusion WebUI、ComfyUI 和 Fooocus 中部署 SDXL turbo 模型并实现图像实时生成的相关教程,大家赶快动手尝试一下吧。喜欢本期内容的话记得点赞收藏支持一波,之后会继续为大家带来更多 AI 绘画干货知识~ 也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”,和我及其他 设计师 一起交流学习 AI 知识。
参考教程:
- https://www.bilibili.com/video/BV15H4y117m4
- https://www.bilibili.com/video/BV1JN41177ET
- https://www.bilibili.com/video/BV1cc411672x
推荐阅读:
复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。
发评论!每天赢奖品
点击 登录 后,在评论区留言,系统会随机派送奖品
2012年成立至今,是国内备受欢迎的设计师平台,提供奖品赞助 联系我们
AI绘画创意与实战
已累计诞生 655 位幸运星
发表评论 已发布17条
↓ 下方为您推荐了一些精彩有趣的文章热评 ↓