Lora训练中,如何偷师技巧?

摘要:自stable diffusion开源之后AIGC绘画方向定制化百花齐放百家争鸣。而c站 https:civitai.com 也聚集了全球爱好者的各种微调训练模型分享。 其中以lora为首,应用最广泛。 而这些模型是怎么训练出来的,细
自stable diffusion开源之后AIGC绘画方向定制化百花齐放百家争鸣。 而c站 https://civitai.com/ 也聚集了全球爱好者的各种微调训练模型分享。 其中以lora为首,应用最广泛。 而这些模型是怎么训练出来的,细节到底是什么样的,没有多少人能说得清楚。 而就博主知道的, 使用最广泛的训练代码是这份 https://github.com/bmaltais/kohya_ss 它流行的原因主要是在其做了个GUI界面,便于很多不懂代码的人也能使用。 这里博主没打算讲解kohya_ss下具体训练方法和其参数。 想知道具体训练参数和细节,可以移步其wiki https://github.com/bmaltais/kohya_ss/wiki/LoRA-training-parameters 还是不懂,也可以问各种gpt或者直接翻译成中文阅读即可。 现在主流最广泛使用的模型存储格式为 huggingface的safetensors https://github.com/huggingface/safetensors kohya_ss里默认会把训练参数填到safetensors的metadata里。 说到这里,lora训练之偷师 答案呼之欲出。 假设我们从c站上把safetensors模型下载下来, 然后读出来它的metadata信息, 那不就能知道这个模型具体的训练参数吗? 而在博主实操读出来好几个主流模型的参数之后,很感慨: c站上的模型真的很demo,训练的数据集大多都不大,分辨率也不高,有的也就百来张图。 训练参数也可以大概评估出来,每个模型作者的用心程度, 当然也可以作为评价模型的一种标准, 例如:看过了多少张图,什么样的分辨率训练的,训练了多久之类的。 也就对这个微调的模型能有个大概认知。 多看几个模型之后, 新手也可以快速上手训练自己的lora,定制自己的AI女友之类的。 你说你想直接抄他们的参数训练,当然也是可以的,偷师不可耻很光荣。 为了方便读取模型的模型的训练信息,博主写了个小工具。
阅读全文