国产开源绘画模型 Kolors！可生成中文字符，质量超越 SD3 与 MJ

大家好，这里是和你们一起探索 AI 的花生~

最近国内科技公司快手在 AI 方面接连发力，推出了类 Sora 视频生成模型「可灵 Kling」、人像动画控制模型「Liveportait」、以及文生图扩散模型「可图 Kolors」，质量均位于同类模型前列，在国外互联网上都引起了广泛的关注和讨论，颇有异军突起之势。

其中「可图 Kolors」为开源模型，它不仅在生成质量上超过了前段时间推出的 SD3，与 Midjourney v6 模型不相上下，还支持识别中文提示词和生成中文字符，可谓是国产开源绘画模型之光，今天就为大家介绍一下 Kolors 的模型特点和使用方法。

相关推荐：

一、Kolors 简介

Kolors 是一个基于潜在扩散的大规模文本到图像生成模型，在数十亿个文本-图像对上训练而成。据官方介绍，Kolors 在图像生成质量、复杂提示词理解、字符文本内容渲染等方面都有优异表现，尤其擅长生成高质量、细节清晰的人像图片。

Kolors 生成的图像

由于 Kolors 将 GLM （General Language Model, 通用语言模型）接入了文本编码器，所以它可以准确理解中文提示词的含义，即使提示词中包含复杂的对象、颜色和位置关系，也能处理得很好。在实际测试中，Kolor 对中文提示词的反应效果甚至比英文还好，这种直接输入中文就生成高质量图像带给人的感觉也非常棒。

当然 Kolors 最令人惊喜的是它支持生成正确的中文字符，这应该是首个实现此功能的 AI 绘画大模型。文字支持黑体、手写、书法等多种字体，即使是笔画很复杂的字也能准确生成，是 AI 绘画发展的又一大重要进步。

作为国产大模型，Kolors 对中式元素的呈现效果也非常棒。无论是长城、故宫、鸟巢这样的标志性建筑，还是猪脚饭、螺蛳粉、老婆饼这样的传统美食，Kolors 都能正确呈现出来。内容本土化是 AI 绘画用户的核心需求之一，大家肯定都希望输入提示词 “一个可爱的小男孩”后，得到的是一个中国男孩而不是白人小男孩的形象，Kolor 在这方面的改进可以说非常贴心了。

在官方测评报告中，Kolors 在人类评估中的表现超过了现有的 SD3、Playground v2.5 等开源模型，在文本忠诚度、视觉吸引力，整体满意度上更是与 Midjourney v6 不相上下。在大模型评测平台 FlagEval 的 “文生图模型排行榜”中，Kolors 也获得第二名的好成绩，仅次于 DALL·E 3。

大家可以在 Huggingface 上免费体验 Kolors 的图像生成效果，生成速度非常快，几秒就能返回结果。我直接用中文提示词出了几个图，测试其中文和中国元素生成能力，效果都非常不错。

Huggingface Kolors 在线试玩： https://huggingface.co/spaces/gokaygokay/Kolors

二、ComfyUI 中使用 Kolors 模型

Kolors 模型开源后 ComfyUI 社区很快就进行了跟进，@Kijia 已经制作了 ComfyUI-KwaiKolorsWrapper 节点，安装后即可在本地使用 Kolors 出图。需要注意的是 Kolors 目前仅允许用于学术研究，如果想商用，需要填写问卷并发送至 kwai-kolors@kuaishou.com 进行注册。

ComfyUI 安装步骤：

① 通过 ComfyUI Manager 安装 ComfyUI-KwaiKolorsWrapper 插件；

② 在 ComfyUI-KwaiKolorsWrapper 文件夹中打开终端，运行 pip install -r requirements.txt 命令，安装依赖项；.

③ KolorsWrapper 文件夹的 example 文件夹中，导入 kolors_example 工作流到 ComfyUI 中，这个工作流中的节点都是 Kolors 专属的，不同于一般的节点，大家在使用的时候注意区分。

④ 工作流打开后，如果点击生成，后台会自动下载所需的各种模型文件，但这一步需要等待很长时间，容易出错，所以更推荐大家从我给的网盘资料中下载 Kolors 文件夹 ，放到根目录的 ComfyUI\models\diffusers 文件夹中。

⑤ 如果你是从别处获得的模型资源，可以再多检查一步：进入 Kolors\ text_encoder 文件夹，找到所有名称带 text encoder 的文件，将前缀的 text_encoder_ 部分删除，否则工作流运行的时候会报错。

⑥ 从网盘中下载 chatglm 文件，安装到 ComfyUI\models\LLM\checkpoints 中（如果没有就新建文件夹）。网盘中一共有三个模型可选，fp16 适合 13G 的显存，8bit 适合 8-9G ，4bit 适合 4 G，大家按实际需要选择一个下载即可（我的显存是 8G，实测只能带动 4bit 模型）。

在基础工作流中，各个节点的作用如下：

1. (Down)load Kolors Model : 加载 Kwai-Kolors/Kolors 大模型，默认 fp16 精度；
2. (Down)load ChatGLM3 Model：加载 ChatGLM3 文本编码器。不同的模型需要选择不同的精度，对应关系为：fp16-fp16；quan8-8bit；quna4-4bit。
3. Kolors Text Encode：提示词输入框，如果在提示词后加上丨小符号，可以隔离提示词，同时生成多张图像；
4. Kolors Sampler：推荐使用 1024 分辨率，其余保持默认即可；
5. Load VAE：可以使用 sdxl vae。

以上就是对国产开源绘画大模型 Kolors 的相关介绍，官方未来还将推出更多围绕 Kolors 的应用和插件，包括 ControlNet、IP-Adapter 和 LCM 等，我们可以期待它的未来发展。

文章相关链接：

1. kolors 官方模型地址： https://huggingface.co/Kwai-Kolors/Kolors
2. ComfyUI Kolors 插件地址： https://github.com/kijai/ComfyUI-KwaiKolorsWrapper
3. ChatGLM3 模型地址： https://huggingface.co/Kijai/ChatGLM3-safetensors/tree/main

想了解更多 AI 干货内容的话，欢迎关注「优设 AI 自学网」 和「优设微信视频号」，每天都会分享最新的 AIGC 资讯和神器，让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”，和我及其他设计师一起交流学习 AI 知识~

另外我的最新课程《AI 视频零基础系统入门》已经上线了，对 AI 视频感兴趣的小伙伴欢迎了解。课程内容包括：

1. 从文生视频、图生视频、视频生成视频、数字人视频 4 个方面，系统全面地带你了解目前主流的 AI 视频制作方式以及优缺点；
2. 十余种热门 AI 视频生成神器用法详解，轻松掌握大神同款工具；
3. 附赠课程专属工具清单，收录了近 300 款 AI 视频、音频、文案神器，全面赋能 AI 视频创作
4. 高质量免费自学资源、最新 AI 视频资讯获取渠道全分享

推荐阅读：