使用Dreambooth自己的Ai训练模型
前提是已经本地部署好了Stable Diffusion。没部署过的可以看这篇文章。
安装Dreambooth扩展
方法一
在扩展中搜索Dreambooth找到并点击install安装即可。
方法二
官方下载解压后放到extensions目录即可
或在extensions目录下执行代码1
git clone https://github.com/d8ahazard/sd_dreambooth_extension.git
重启webui面板即可。
创建基础模型
在Dreambooth面板中,找到模型-创建。依次填写创建的模型名称、勾选512模式、选择源模型。(Extract EMA Weights、Unfreeze Model两选项可以用来提高模型训练速度,可自行评估。)另外Dreambooth,尽量使用.safetensors作为源模型。
训练模型的基本配置
选择刚刚创建的模型名称,配置相关参数。内容很多,但我们主要配置几个内容即可
勾选Steict Tokens(严格的提词),如果你使用的样本提词有大量的逗号、括弧之类的符号建议勾选。
素材预处理
这一步是为了将素材都裁剪成刚刚创建模型时启用的512模式。让Ai更好的学习素材。
切换至训练标签,找到图像预处理。填写准备好的素材图片目录和要图片预处理后输出的目录、勾选自动焦点裁剪,如果是写实照片,勾选使用使用BLIP生成说明文字(自然语言描述),如果是人物模型勾选使用deepbooru生成说明文字(tags),最后点击预处理即可。如果有自己的预处理工具裁剪可以跳过这一步。
配置概念部分
因为这次的目的主要是进行初步测试,所以不涉及到分类,所以有关于分类的部分我们可以忽略。
- 设置数据集目录:刚刚准备好的512尺寸的素材图片。
- Instance Token:实例名称,让Ai去学习的的词汇
- Instance Prompt:刚刚在裁剪图片是使用了BLIP生成了描述,所以这里直接填[filewords]即可。
- 样本图像的提示词:和文字生成图片使用的提示词的描述方法一致即可
- 样本图像的反向提示词:和文字生成图片使用的反向提示词的描述方法一致即可
保存并训练模型
填写保存的模型名称及相关参数后点击Save Settings就可以点击训练开始训练模型了。
- 感谢你赐予我前进的力量