前提是已经本地部署好了Stable Diffusion。没部署过的可以看这篇文章。

引用链接地址
关于Stable Diffusion的部署
Mac本地部署stable diffusion

安装Dreambooth扩展

方法一


在扩展中搜索Dreambooth找到并点击install安装即可。

方法二

官方下载解压后放到extensions目录即可
或在extensions目录下执行代码

1
git clone https://github.com/d8ahazard/sd_dreambooth_extension.git

重启webui面板即可。

创建基础模型


在Dreambooth面板中，找到模型-创建。依次填写创建的模型名称、勾选512模式、选择源模型。（Extract EMA Weights、Unfreeze Model两选项可以用来提高模型训练速度，可自行评估。）另外Dreambooth，尽量使用.safetensors作为源模型。

训练模型的基本配置


选择刚刚创建的模型名称，配置相关参数。内容很多，但我们主要配置几个内容即可
勾选Steict Tokens（严格的提词），如果你使用的样本提词有大量的逗号、括弧之类的符号建议勾选。

素材预处理

这一步是为了将素材都裁剪成刚刚创建模型时启用的512模式。让Ai更好的学习素材。

切换至训练标签，找到图像预处理。填写准备好的素材图片目录和要图片预处理后输出的目录、勾选自动焦点裁剪，如果是写实照片，勾选使用使用BLIP生成说明文字(自然语言描述)，如果是人物模型勾选使用deepbooru生成说明文字(tags)，最后点击预处理即可。如果有自己的预处理工具裁剪可以跳过这一步。

配置概念部分


因为这次的目的主要是进行初步测试，所以不涉及到分类，所以有关于分类的部分我们可以忽略。

  • 设置数据集目录：刚刚准备好的512尺寸的素材图片。
  • Instance Token：实例名称，让Ai去学习的的词汇
  • Instance Prompt：刚刚在裁剪图片是使用了BLIP生成了描述，所以这里直接填[filewords]即可。
  • 样本图像的提示词：和文字生成图片使用的提示词的描述方法一致即可
  • 样本图像的反向提示词：和文字生成图片使用的反向提示词的描述方法一致即可

保存并训练模型


填写保存的模型名称及相关参数后点击Save Settings就可以点击训练开始训练模型了。