Stable Diffusion 模型技术正引领一场前所未有的创新风暴,彻底重塑着创意产业的面貌。
在这股开源技术洪流中,@SD炼丹师忠忠 以其非凡的洞察力和不懈的努力,成为了SD模型训练领域的杰出探索者。他通过其精心打造的 BDicon、互联网插画风、三维电商展台等系列模型,在SD模型训练领域树立了新的标杆,生动诠释了 SD 模型训练技术如何实现设计效率的飞跃式增长,还为阿里、Canva、华为、平安科技、腾讯、等公司提供了 SD 应用训练分享与培训。
本期专访我们就来看看他在 SD 模型训练领域的宝贵经验与独到见解。
往期回顾:
1、忠忠老师,您的 BDicon 模型在 liblib 上备受瞩目,能和我们分享一下您是如何踏入 SD 模型训练领域,并成功打造出这一热门模型的吗?
我是在23年3月正式开始接触模型训练的,当时是发现市场上已经有效果很棒的 SD1.5 设计类模型了,深感这是一次巨大的生产力提升,我必须参与其中,于是开始研究学习。
主要的学习渠道是在B站自学,在此特别感谢以青龙圣者、独立研究员星空等为代表的B站 UP 主的无私奉献,通过他们的教程得以掌握了模型训练的基本方法,跑通了模型训练的完整流程。然后再结合许多 UI 设计师会有画 BDicon 这类3D图标的需求但又不会3D软件的现状与痛点,选定了 BDicon 这种B端图标风格的模型路线进行实验,经过了数十次的失败后终于训练出了 BDicon 1.5 版本的 Ckpt 模型。
BDicon 上架后广受 UI 设计师欢迎,靠自然流量冲上了哩布哩布首页。后续随着 SDXL 的开源也更新了对应的 BDiconSDXL 版本,拥有更丰富的色彩元素的 BDiconProSDXL 版本等。
2、对于那些刚刚接触 SD 的设计师新手,您能解释一下为什么进行 SD 模型训练(微调)如此重要吗?
Stability AI 提供的基础版 SD 模型虽然已经很强大了,但是对于特定领域的需求还是无法满足。因为基础版 SD 模型还没有学习过特定领域的数据集的特征,比如特定的国潮画风,IP形象等等,自然也无法生产特定领域的需求图片。我们通过 SD 模型训练(微调),可以让基础版 SD 模型学会之前不认识的特征,继而延展这种特征为我们生成更多拥有这个特征的 AI 图片。
例如之前基础版 SD 模型无法直接生成 BDicon 这类B端三维图标风格,但是经过对对应数据集的学习之后,即可生成各类B端三维图标。
3、您在 Stable Diffusion 方面有着深厚的研究,也乐于分享技术心得,那么,能否为我们揭秘一下 SD 模型训练的核心流程和关键点?
SD 模型训练的核心流程其实很简单,就是收集处理图片数据集,然后打上对应的文字标注,然后使用训练脚本进行训练产出微调版本的模型,经过测试后效果达标即可实际应用了。
SD 模型训练的关键就在于训练集与标注质量,高质量的训练集与标注才能带来高质量的微调模型,毕竟巧妇也难为无米之炊啊哈哈。
4、在这个过程中,有哪些关键的技术细节或独特的训练方法,使得您的模型能够在众多产品中脱颖而出?
在模型训练的过程中,训练集图片的质量是最能够影响最终效果的因素,对于训练集的严格筛选与处理,贵精不贵多的选择策略,能带来更好的特定特征学习效果。总之坚持一个原则,想要 SD 模型生成什么,那就给它学习最好的对应数据集。
5、您之前从事的是 UI 设计工作,现在专注于 SD 模型训练。这两种工作有哪些异同?又是什么原因促使您放弃稳定的设计工作,选择创立炼丹科技公司?能否分享一些您的创业感悟?
我之前的UI设计工作主要在负责 Element Plus UI 框架库的搭建与维护,与 SD 模型训练相同的都是给设计师提供基础服务,以帮助设计师更高效地产出设计作品,逻辑与代码能力上的优势都对这两种工作有加成效果。
SD 模型训练会更多的将时间花在训练集的处理,模型的测试等模型训练流程上,与搭建组件库画界面的具体 UI 设计工作内容有着明显的差异。
之所以放弃稳定的设计工作,选择创立炼丹科技公司,主要是想探索更多人生的可能性吧。之前的工作虽然稳定,但是也受限于公司的条条框框,无法真正的拥有探索的自由。自己创业之后收入虽然不稳定,但是比起在职工作更能够选择做自己想做的事,学习自己想学习的技能与知识,就比如在炼丹路上一路狂奔的这一年。
因为自己创业认识了更多有趣又很强的朋友,与在公司时的固定产品团队协作也有很明显的不同。去各地举办炼丹大会等活动和高效讲课,也顺路感受到了更多以前看不到的风光与景色,有心心念念许久的西安大唐不夜城的灯火璀璨,也有南昌滕王阁旁清晨的江雾漫漫。
6、在商业应用方面,SD 模型训练技术能发挥哪些实际作用?您有没有具体的商业落地案例来给我们详细介绍一下?
SD 模型训练技术能很大幅度地提高特定工作环节的生产效率,以 BDicon 在B端设计领域的应用为案例,一个使用三维建模方式需要4小时才能完成的图标,使用 Bdicon 文生图生成的话仅需 0.4 小时,相当于提效90%,更复杂一点需要线稿辅助的话,也可以在一小时内完成,相当于提效 75%,还是很可观的。
7、站在行业前沿,您如何看待 SD 模型训练领域的发展现状和未来趋势?有没有什么新的预测或期待与我们分享?
SD 模型训练领域现在仍然处于相对较为原始的野蛮生长状态,相信随着领域内各专家的深度探索与研究,整个领域的良性生态的建设与完善,SD 模型训练一定可以完成更多以前完成不了的工作,提升工作环节的生产效率。
最近 Stablity AI 也续命成功,获得了顶级投资机构的重大投资,大家也能继续深挖这项开源模型技术的潜能,SD 模型训练肯定还会解锁更多创意与生产力。
复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。
热评 一只正在上优设的熊猫