如何用ComfyUI教程五的IP-Adapter实现图像风格迁移？

中秋假期，又可以玩玩 AI 了。前面介绍了 ComfyUI 的 Lora 模型以及 ControlNet，本文介绍另一个非常重要且使用的节点，IP-Adapter。 一、 IP-Adapter 概念 1.1 IPAdapter 的介绍 IP-Adapter 的是腾讯 ailab 实验室发布的一个 Stable Diffusion 的适配器，我愿称之为 Stable Diffusion 最强插件，它的作用是输入一张或多张图像，作为生成图像的提示词，实现图片风格或者肖像风格的迁移。本质上类似 MJ 的垫图。 官网地址：https://github.com/tencent-ailab/IP-Adapter IP-Adapter 的实际用途有很多，比如保留产品样式，替换背景生成海报，根据设计图纸，生成装修效果图，对图片进行人脸替换等等。看看下面的商业海报案例： 1.2 IPAdapter 与 img2img 的区别 IPAdapter 与 img2img 的底层原理完全不同，对于 IPAdapter 可以简单理解为，将输入的一张图像，作为图像提示词。而 img2img 是提取输入的图像的特征进行模仿生成。 举个不是十分准确的例子： IPAdapter 在生成图像时，是在根据文本提示词进行作画，在绘图的过程中，始终记得输入图像的风格，把这些风格元素融入到画师的灵感中，进行创作。 img2img 在生成图像时，是拿着输入的参考图，然后先将其慢慢擦除，在擦除的过程中，保留了需要的部分，然后在这个基础上进行绘画。这样绘画出来的结果，总有一部分是复刻了输入的参考图像，保有了原图像的痕迹。 二、基本使用 2.1 节点安装及模型下载 在 ComfyUI 中使用需要安装节点 ComfyUI_IPAdapter_plus。 官方地址：https://github.com/cubiq/ComfyUI_IPAdapter_plus 节点安装方式有很多，之前的文章有讲过，推荐使用 ComfyUI 节点管理器安装 Github 主页中对需要安装的模型有详细描述，下载后按要求安装到指定路径即可，需要注意的内容有： 安装在 /ComfyUI/models/clip_vision 的两个文件下载后需要重命名，再放到对应的文件夹内； 如果没有 /ComfyUI/models/ipadapter 这个文件夹，可以自己手动新建一个。 下载基础模型 下载 FaceID 模型 下载 Lora 模型 2.2 节点使用 首先我们加载默认的工作流看看效果： 接下来我们接入 IP-Adapter 节点。 这里，我们输入了一张光头强的图片，核心节点主要是 应用 IPAdapter 节点，模型需要通过一个IPAdapter 模型加载器 加载一个 IP-Adapter 的模型输入。注意，这里的模型要和基础大模型版本匹配。同时还需要使用 CLIP 视觉加载器 加载一个视觉模型，这些模型都是刚才下载下来的。 我们固定了采样器的随机种子，其余参数也不变，IP-Adapater 模型权重设置为 1， 看看生成效果，此时生成的人物，已经变成了光头强风格，并且后面的背景也变成了森林。 基本流程就是，输入一张参考图，使用 CLIP 视觉模型对图像内容进行理解，在通过 IPAdapter 模型和基础大模型中和一下，作为条件输入到潜空间，以达到图像风格的魔法效果。 另外，ComfyUI_IPAdapter_plus 插件还提供了另一个节点，IPAdapter 加载器。它的作用是把 IPAdapter 模型和 Clip 视觉模型一起加载进来了。 该节点需要将基础大模型连接到输入，输出的模型连接到应用 IPAdapter 节点。测试生成的图像和之前效果是一样的。 2.3 参数说明 2.3.1 IPAdater 模型 IPAdapter 的模型非常多，总共有十几二十个，在使用过程中，应该如何进行选择呢？ 前面提到，IPAdapter 是将输入的参考图像，作为输入条件，与提示词共同作用，两者之间既有合作又有对抗，当输入的图像风格与提示词矛盾时，以哪个稳准呢，这里就跟选择的 IPAdapter 的模型相关了。 下面我做了一个简单的分类： 图中对 sd 1.5 模型进行了说明。除了框起来的部分，剩下的模型，根据名字，可以看到一些是 SDXL 版本的，还有一些则需要使用 bigG clip vision 模型进行视觉编码。 2.3.2 权重 Weight 权重可以通俗理解为 IPAdapter 的作用强度。