如何用LoRA模型在ComfyUI教程中控制图像生成特征？

前言 上一篇文章讲述了 ControlNet 模型的使用，如果掌握了 ControlNet 的使用之后，本文所讲的 Lora 模型将会非常容易理解。 一、LoRA 模型的概念 之前的文章中，在介绍模型种类时，简单介绍过 Lora 模型，LoRA 模型全称是 Low-Rank- Adaptaion of Large Language Models。是一种用于微调大语言模型的低次序适应技术。它最初用于 NLP 领域，特别是用于微调 GPT-3 等模型。在 Stable Diffusion 模型应用中， Lora 允许用户在不修改 SD 大模型的情况下，利用少量数据训练出具有特定画风、IP 或者人物特征的模型，这种模型在社区和个人开发者非常受欢迎。 想深入了解 LoRA 的原理的朋友，请自行学习。 二、Lora 的效果展示 以上都是行话。下面用通俗的语言介绍。 LoRA 相当于大模型之外的另外一种模型，它的主要作用是给原有的画面做一些微调。LoRA的种类有很多，有人物的、动作的、建筑的，甚至改变一些画风的、表情的、物品的，只要你加了某个特定的LoRA，它就会在画面中呈现。最常用的一个就是人物的，举个例子，最近非常火的黑神话悟空的各种图片: 这就是使用悟空的 LoRA 生成的。 下面这个，用的是胡桃的LoRA 可以看到不管怎么切换基础模型，不管怎么切换画风，LoRA始终是胡桃的LoRA，它画出来的就是胡桃。 三、 Lora 的使用 3.1 Lora 模型加载器 前面学会了使用 ControlNet，在来看 Lora 的使用就非常简单了。 首先到模型网站上下载自己想要的 Lora 模型。放到 ComfyUI\models\loras 文件夹下。然后添加一个 Lora 加载器节点。 该节点有三个参数，选择 Lora 模型， Lora 模型的强度 - 这个数值越大，生成图像月偏向 Lora 模型风格 以及 Clip 的强度 - 文本提示词的强度 这些参数根据需要调整就行。 最后再将主模型的模型输出点连接到 Lora 加载器的输入点，主模型的 Clip 输出作为 Lora 加载器的输入，最后，Lora 加载器的输出，分别连接到 Clip 文本编码器和采样器的模型输入。 需要强调的是：Lora 模型的版本要和主模型版本保持一致。 3.2 Lora 使用演示 可以看到，当前选择了一个中国风的水墨场景的 Lora ，生成的图像，也就成了中国风的水墨风格。 3.3 Lora 堆的使用 如果要使用多个 Lora 模型，可以添加多个 Lora 加载器，依次串联起来。和 ControlNet 一样， 多个 Lora 模型可以使用 Lora 堆节点进行加载。 Lora 堆节点有很多，有的统一控制 Clip 强度，有的分别增加了开关，可以对每个 Lora 分别控制，但是基本都大同小异。这里展示简易 Lora 堆节点。 这里有一个总开关，可以开启或者关闭应用 Lora 堆，模式高级的化可以针对每个 Lora 模型设置 Clip 权重，最后输出到 应用LoRA 堆 节点。 四、本地训练 LoRA 模型 前面提到，Lora 有一个特点，就是个人消费级显卡也可以很快完成训练，这样就给了我们很多施展的空间。 下面来讲解训练 LoRA 模型的步骤： 4.1 下载安装 LoRA 训练器 训练模型的过程，俗称“炼丹”，训练模型的软件和环境，称为模型训练器，俗称“丹炉”。训练模型首先需要有一个模型训练器，目前网上有很多版本的 SD LoRA 模型训练器，这里还是比较推荐 秋葉 大佬的LoRA 模型训练器。 下载地址： https://pan.baidu.com/s/1TBaoLkdJVjk_gPpqbUzZFw https://pan.quark.cn/s/b4ccd1f635b6 4.2 训练数据准备 训练数据准备，主要做好下面几点： 训练素材处理 首先要准备好训练素材，比如你想训练某个特定的人脸 LoRA 模型，你需要准备 一些该特定人物的人脸的照片，素材的质量直接决定了训练出的模型的质量。对素材有一些的要求，比如图片数量不少于 15 张，一般可以准备 20-50 张；图片的质量要高，主体内容清晰可见，特征明显，图片尽量构图简单，避免其它杂乱的元素；尽可能以人物脸部特写为主，多角度，多表情等; 减少重复或者相似度太高的图片。 素材准备完毕后，还需要对图片进一步处理，对低像素的素材图片，进行高清放大处理。图片统一分辨率，注意分辨率为 64 的倍数，显存低的可切为 512 x 512, 显存高的可切为 1024 x 1024。可以借助一些软件或者工具批量裁切。