大家好,我是花生~
阿里通义实验室在月初推出的一个新开源项目 In-Context(上下文) LoRA 最近越来越火了,因为大家发现它实在太好用了,无论是保持人物/场景一致性,还是进行服装、风格、Logo、字体样式、页面版式的学习迁移,效果都非常不错,一下就解决了很多大家之前头疼的问题。
目前 In-Context LoRA 已经在摄影、电商设计、样机制作、头像生成等方面有了落地应用,极大满足了大家对精准控制出图的需求,那今天我们就一起来看看 In-Context LoRA (以下简称 IC LoRA)究竟有哪些神奇之处。
相关推荐:
IC LoRA 是基于 Flux 训练的,用法也和普通的 Flux Lora 一样。它最大的特点是可以在图像生成时,稳定保持不同图像之间的关联性和一致性,就如有了理解记忆能力一样。根据这个特性,研发团队训练出 10 种不同的模型,分别应对不同的场景,它们主要可以分为以下几个方面。
1. 人物/场景一致性
IC LoRA 可以很好地保持人物、场景在不同图像中的一致性,而且仅需提示词就能实现,因此它很适合生成故事分镜或者同一人物的系列照片。同时,它也可以生成包含「写实」和「卡通」两种风格的图像,并且使两个风格的角色特征、服装穿搭仍保持一致。
2. 风格一致性
通过提示词,IC LoRA 可以一次性生成多张视觉风格一致的图像,这用来生成室内设计概念图、情侣头像等内容时非常方便。
3. 样式迁移
IC LoRA 是基于 Flux 训练的,因此在文本、图形的迁移学习上也有很好的表现,可以生成同一风格样式的字体和页面版式,还支持将现有的 VI 元素,比如 Logo、插画等,完美复刻到新图像中,让样机展示变成一件无比轻松的事情。
除了文本直接生成,IC LoRA 也支持通过已有图像生成具有一致性的新图像,比如根据 3 张图像生成同一人物的新图像、将真人照片转为相似的卡通图像、根据现有 Logo 生成它的样机展示图等。这样的方式比以往训练 LoRA 要方便快捷很多。
10 个模型下载: https://huggingface.co/ali-vilab/In-Context-LoRA (文末有资源包内)
应用场景展示: https://github.com/ali-vilab/In-Context-LoRA
IC LoRA 官方目前开源了 10 个模型,每个模型对应不同的使用场景。
不过它们的使用方法和普通的 Flux Lora 是一样的:在基础的 Flux D 文生图流程上,加入一个 load lora 节点加载对应模型就行,下图是一个标准的工作流示例(文件在文末资源包内)。你可以一次性下载 10 个模型,也可以只下载自己需要的那几个,然后将模型安装到 ComfyUI 根目录的 lora 文件夹中,
需要注意的是,不同 lora 模型的提示词写法和推荐图像尺寸各有不同,具体内容官方在 github 上有给出示例。大家在使用前一定要查看,将对应参数信息都修改好了之后再生成,否则会影响出图效果。
官方目前只给出了文生图的工作流,开源社区则已经衍生出多个图生图的落地应用案例,包括换装、样机、情侣头像、电商场景、角色故事分镜、四格漫画等,Github 中都有集中收录,每一个都附带了对应的工作流/模型/插件链接,大家可以选择自己喜欢的类型进行尝试。
Glif 在线试玩: https://glif.app/@fab1an/glifs/cm3ogs6tn003j10dygwyq6l9c
Glif 上有一个基于 IC LoRA 的小工具 Any Image Anywhere,可以免费生成任何 logo 的样机图。注册登录后只需上传你的 Logo 图像,然后描述样机场景,比如 “on a packaging design agency studio wall (在包装设计机构工作室的墙上)”,就能一秒得到一个相当不错的样机展示图。
那么以上就是本期对热门模型 In-Context LoRA 的相关介绍,网上还有很多大神都分享了它的免费使用教程,想深入了解的小伙伴可以自行学习。另外该模型目前是基于 Flux Dev 生态的,属于不可商用,大家需要注意版权。
喜欢本期内容一定记得点赞评论支持一波,我会更有动力分享新的内容。也欢迎大家关注「优设 AI 自学网」 和「优设微信视频号」,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”,和我及其他设计师一起交流学习 AI 知识~
另外我的新课程《AI 视频零基础系统入门》已经上线了,对 AI 视频感兴趣的小伙伴不要错过。课程内容包括:
- 从文生视频、图生视频、视频生成视频、数字人视频 4 个方面,系统全面地带你了解目前主流的 AI 视频制作方式以及优缺点;
- 十余种热门 AI 视频生成神器用法详解,轻松掌握大神同款工具;
- 附赠课程专属工具清单,收录了近 300 款 AI 视频、音频、文案神器,全面赋能 AI 视频创作
- 高质量免费自学资源、最新 AI 视频资讯获取渠道全分享
相关链接:
https://github.com/ali-vilab/In-Context-LoRA?tab=readme-ov-file#community-creations-using-ic-lora
https://ali-vilab.github.io/In-Context-LoRA-Page/
推荐阅读:
复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。
热评 头痛不吃药