大家好,这里是和你们一起探索 AI 的花生~
IP Adapter 是 SD 生态中一个非常强大的风格迁移插件,可以将一张图像的风格复制到新生成的图像中,有效提升我们的出图效率,目前在设计领域有广泛应用。
相关推荐:
最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重写了插件代码,对整体进行了升级更新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的功能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行风格迁移、构图迁移和二者的联合使用,可以让我们更准确地控制出图效果。
通过新版 IP Adapter Plus 插件分别学习梵高的风格和蒙娜丽莎的构图
但此次更新后,我们之前所有包含 IP Adapter Plus 的工作流也都无法使用了,需要用新节点重新搭建。今天就为大家详细介绍一下新版插件的安装使用方法。
Github 主页: https://github.com/cubiq/ComfyUI_IPAdapter_plus (内有插件更新介绍)
- 在安装前,我们需要将 Comfyui 更新到最新版本;如果你之前安装过 IP Adapter Plus 插件,则需要先在 custom_nodes 内删除之前的文件夹。
- 插件可以通过 Manager 安装,但是更推荐在终端通过 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令来安装,可以获取最新的更新内容。
Github 主页中对需要安装的模型有详细描述,下载后按要求安装到指定路径即可,需要注意的内容有:
- 安装在 /ComfyUI/models/clip_vision 的两个文件下载后需要重命名,再放到对应的文件夹内;
- 如果没有 /ComfyUI/models/ipadapter 这个文件夹,可以自己手动新建一个;
- models/ipadapter 内的模型并不需要全部下载,目前主要使用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;
- 文末网盘链接内有对应的模型资源,可以直接下载使用。
如果你想通过 IP Adapter Plus 保持人物脸部特征一致,则需要再下载 FaceID 模型以及对应的 Lora 模型,并安装到指定路径。此外还需要部署 insightface 环境,具体部署方法可以看官方给的链接。
以上安装步骤完成后,记得重启 ComfyUI。在 IP Adapter Plus 根目录内有一个 example 文件夹,里面有官方提供的 13 个工作流,包含基础、进阶、FaceID、负面图像、分块等多种功能,大家可以直接导入 ComfyUI 中使用体验。官方 Github 主页中也有附上视频教学链接,里面对新功能有详细的介绍。
风格迁移是 IP Adapter 最重要的功能,现在又新增了构图迁移功能,让它能发挥的作用更大了。下面就结合工作流文件,简单介绍一下它们的用法(工作流文件在文末云盘链接内)。
① 风格迁移(Style transfer)
使用风格迁移功能,需要在 IP Adapter Advanced 节点内将权重类型选为 Style transfer,目前仅支持 SDXL 模型。它可以将一张图像的风格、氛围完美迁移到另一个图像上,而不会影响图像的具体内容。使用时可以多调节 weight 参数,即使是 0.1 的调整也会带来很不一样的效果;也可以尝试不同的 embeds_scaling 缩放值。
② 构图迁移(Composition)
如果只想提取一张图像的构图,将 IP Adapter Advanced 节点内的 weight_type 改为 composition 就可以了。它可以学习一张图像中人物的姿势动作,或者画面的主体构图;如下图,新生成的赛博朋克房间像在镜头角度、窗户位置、家具摆放位置等方面与原图高度相似。这种方式与 controlnet 的线条约束相比会更灵活自由,在整体效果上也会更自然合理。
③ 风格&构图混合迁移
此功能中需要用到一个新的节点 IPAdapterStyleComposition,它支持同时导入风格参考图像和构图参考图像,实现分别控制。使用时同样可以多调整二者的权重,获得更准确的效果。
那么以上就是本期为大家介绍的 ComfyUI 插件 IP Adapter Plus 最新版本的相关内容,文内提到的模型及工作流文件都在文末的云盘链接内,有需要的小伙伴可以记得下载~
ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。
如果有关于文章的问题,欢迎在评论区留言,或者下方的二维码加入“优设 AI 绘画交流群”,和我及其他 设计师 一起交流学习 AI 知识~
推荐阅读:
参考资料:
复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。
发评论!每天赢奖品
点击 登录 后,在评论区留言,系统会随机派送奖品
2012年成立至今,是国内备受欢迎的设计师平台,提供奖品赞助 联系我们
AI绘画创意与实战
已累计诞生 655 位幸运星
发表评论 已发布8条
↓ 下方为您推荐了一些精彩有趣的文章热评 ↓