使用 DreamBooth 和 LoRA 微调 Stable Diffusion XL

在本教程中，您将了解 Stable Diffusion XL 与 DreamBooth，并学习如何借助 diffusers 库调用图像生成模型。此外，我们还将把模型微调在个人照片上并评估其效果。如果您是 AI 新手，建议先学习一门AI 基础课程作为入门。

认识 Stable Diffusion XL

Stability AI 团队发布了 Stable Diffusion XL (SDXL) 1.0，这是 AI 文本生成图像模型的又一次飞跃。这个开源模型在仅用于研究的 SDXL 0.9 基础上迭代，成为全球最强大的公开可用图像生成模型。

经过数周的实验，从定量分析与定性的人类评测来看，SDXL 在开源模型中生成的图像质量最高、偏好度也最高。

图片来源：arxiv.org

这一高质量得益于由两个模型组成的集成：一个 35 亿参数的基础生成器和一个 66 亿参数的精修器（refiner）。这种双流水线在保持可在消费级 GPU 上高效运行的同时，也将图像质量最大化。

在 SDXL 1.0 中，用户不再需要冗长复杂的提示词就能生成令人惊艳的图像。它的“聪明程度”使得只凭寥寥数语也能创造细腻复杂的图像。

在自定义数据集和任务上微调 SDXL 也变得更容易。它让我们可以对结构、风格与构图进行更细粒度的控制。

什么是 DreamBooth？

DreamBooth 由 Google 研究团队于 2022 年提出，是生成式 AI 领域的一项重要进展，尤其是在 Stable Diffusion 等文本生成图像模型方面。

之所以称为 DreamBooth，正如 Google 研究者所言：

“它就像一个照相亭，但以一种方式捕捉主体，使其能在您梦想到达的任何地方被合成呈现。”

图片来源：DreamBooth

DreamBooth 允许您注入一个特定的自定义主体，微调后的模型便能以多种方式专门化地呈现它。从某种意义上说，它让您有可能打造一个专注于某个人物、角色、物体或场景的专属图像生成器。

DreamBooth 通常只需主体的少量图像（一般 3–5 张）就能高效训练模型。训练完成后，模型可以将该主体置于成千上万种场景、环境和姿态中，唯一的限制是用户的想象力。

DreamBooth 的应用场景

使用 DreamBooth 微调图像生成模型对许多领域都有帮助。它为实验与高质量图像创作提供了更大的自由度，而无需 Photoshop 技能。以下是它如何为工作增值的一些示例。

1. 创意行业如平面设计、广告与娱乐，能从 DreamBooth 中获益良多，因为它在视觉内容创作上提供了高度的定制化与独特性。
2. DreamBooth 支持个性化，可创建现实中难以复现或纯属虚构的场景。
3. 它也适用于教育与科研领域，在重视视觉表现的场景中，可用于制作个性化教学内容或满足研究需求。

接下来，我们将深入讲解如何在 Kaggle 的免费 GPU 上访问并在自定义数据集上微调 SDXL 模型。

访问 Stable Diffusion XL

我们可以在 Hugging Face 上试用 Stable Diffusion XL Spaces 的演示，它会根据您的输入快速生成四张图像。先玩一玩，再决定是否适合您的应用。

图片来源：Stable Diffusion XL on TPUv5e

另一种方式是使用 Python 库 diffusers，基于自定义提示词生成图像。

环境准备

在运行代码之前，请确保您使用的是支持 CUDA 的 GPU 机器。

!nvidia-smi技术支持

然后，使用 PIP 安装 diffusers 包。

%pip install --upgrade diffusers[torch] -q技术支持

加载基础模型与 VAE 解码器

我们将加载一个自定义 VAE 解码器，该解码器经过修改，可在 fp16 精度下运行且不产生 NaN。

随后，我们将把该 VAE 解码器集成进 diffusers 的工作流，加载 fp16 精度的 SDXL 基础模型，构建完整流水线。

我们也可以直接加载不带 “fp16” 的基础模型，但会引发 GPU 显存问题。因此，要在 Kaggle、Colab 和笔记本电脑的 GPU 上运行，您需要使用 fp16 变体来访问模型。

from diffusers import DiffusionPipeline, AutoencoderKL
import torch

vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)
pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    vae=vae,
    torch_dtype=torch.float16,
    variant="fp16",
    use_safetensors=True,
)
pipe.to("cuda");技术支持

运行图像生成流水线

要生成图像，您需要提供一个简单的提示词、推理步数以及每个提示词要生成的图像数量。

在我们的示例中，我们将用单个提示词生成四张图像。

prompt = "A man in a spacesuit is running a marathon in the jungle."

image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt = 4)技术支持

为了以网格方式展示图像，我们可以编写一个简单的 Python 函数，调整图像大小并按网格显示。

from PIL import Image

def image_grid(imgs, rows, cols, resize=256):
    assert len(imgs) == rows * cols

    if resize is not None:
        imgs = [img.resize((resize, resize)) for img in imgs]

    w, h = imgs[0].size
    grid_w, grid_h = cols * w, rows * h
    grid = Image.new("RGB", size=(grid_w, grid_h))

    for i, img in enumerate(imgs):
        x = i % cols * w
        y = i // cols * h
        grid.paste(img, box=(x, y))

    return grid技术支持

我们将以 2x2 网格展示四张图像，便于对比模型输出。

image_grid(image.images, 2, 2)技术支持

结果令人惊艳。SDXL 的确比 Stable Diffusion 1.6 好很多。

我们再写一个提示词，生成三张猴子玩烟花的图像。

prompt = "A playful monkey handling fireworks with ease."
image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt = 3)
image_grid(image.images, 1, 3)技术支持

通过如何运行 Stable Diffusion教程，了解如何在线和本地访问 Stable Diffusion 模型。

用 Refiner 提升效果

为了进一步提升图像质量与模型准确度，我们将使用 Refiner。

1. 通过 diffusion 流水线加载 SDXL refiner 1.0。
2. 使用 SDXL 基础模型生成图像。我们会将输出类型改为 “latent”，即返回输入的潜表示，而非重构后的图像。
3. 将提示词与生成图像的潜表示一并提供给 refiner。

refiner = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    vae=vae,
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
)
refiner.to("cuda")

n_steps = 40
high_noise_frac = 0.7

image = pipe(
    prompt=prompt,
    num_inference_steps=n_steps,
    denoising_end=high_noise_frac,
    output_type="latent",
).images

image = refiner(
    prompt=prompt,
    num_inference_steps=n_steps,
    denoising_start=high_noise_frac,
    image=image,
).images[0]

image
技术支持

精修后的图像质量很高，并且能准确遵循提示词。

观看使用 Python 中的 Diffusers 生成照片级真实感图像的代码演练，了解如何用当前最先进的扩散模型在 Python 中生成照片级真实感图像。

使用 AutoTrain Advanced 微调 SDXL

随着时间推移，微调 SDXL 变得越来越容易。多亏了 AutoTrain Advance，我们现在只需一段 Python 脚本就能微调模型。这个自动化机器学习库旨在用最少的代码训练与部署最前沿的机器学习模型。

您可以通过 PIP 安装该 Python 包：

%pip install -U autotrain-advanced技术支持

如果您有兴趣使用 accelerate 与 transformers 微调 SDXL 模型，可以查看 SDXL DreamBoot LoRA 的 Colab 笔记本。该笔记本略显过时，可能需要做些修改才能正常运行。

环境准备

在运行 DreamBooth 脚本之前，我们需要设置一些变量，后续运行脚本时会用到。

1. 项目名称。
2. 基础模型的位置。
3. 数据集目录。
4. 用于推送模型到 Hugging Face 的仓库 ID。

PROJECT_NAME = "Dreambooth_SDXL"
MODEL_NAME = "stabilityai/stable-diffusion-xl-base-1.0"
DATA_DIR = "/kaggle/input/abids-photos"
REPO_ID = "kingabzpro/sdxl-lora-abid"技术支持

接下来，您将使用 Kaggle 的Secrets 功能来设置 Hugging Face 令牌。可阅读Mistral 7B 教程：使用 Mistral 7B 的分步指南了解如何设置 secrets。

from kaggle_secrets import UserSecretsClient
user_secrets = UserSecretsClient()
HF_TOKEN = user_secrets.get_secret("HUGGINGFACE_TOKEN")技术支持

在 Kaggle 中创建私有数据集

要在 Kaggle 中创建您的自拍私有数据集，请点击笔记本右侧面板的上传按钮。

添加数据集标题，并上传包含五张在不同地点拍摄的自拍照的压缩包。在这里，使用的是作者本人的照片。

要在 Jupyter Notebook 中查看这五张图像，我们将使用 PIL 加载图像并传入我们的 image_grid 函数。

from PIL import Image

def image_grid(imgs, rows, cols, resize=256):
    assert len(imgs) == rows * cols

    if resize is not None:
        imgs = [img.resize((resize, resize)) for img in imgs]

    w, h = imgs[0].size
    grid_w, grid_h = cols * w, rows * h
    grid = Image.new("RGB", size=(grid_w, grid_h))

    for i, img in enumerate(imgs):
        x = i % cols * w
        y = i // cols * h
        grid.paste(img, box=(x, y))

    return grid

import glob技术支持

我们展示了作者在不同地点拍摄的五张高质量照片。请确保所有照片质量高且大小相近。

imgs = [Image.open(path) for path in glob.glob("/kaggle/input/abids-photos/*.jpg")]
image_grid(imgs, 1, 5)技术支持

AutoTrain DreamBooth 训练脚本

现在是时候使用 AutoTrain 的 DreamBooth 脚本，在这五张图像上微调我们的模型了。

1. 提供基础模型、项目名称与数据目录。
2. 确保实例提示词唯一，能够描述该人物或物体。使用人物全名 “Abid Ali Awan”，并对照片进行详细描述。
3. 保持其余参数不变，以获得最佳性能。
4. 提供 Hugging Face 访问令牌与仓库 ID，将模型的 LoRA 适配器上传至 Hugging Face Hub。

!autotrain dreambooth \
--model $MODEL_NAME \
--project-name $PROJECT_NAME \
--image-path $DATA_DIR \
--prompt "A photo of Abid Ali Awan wearing casual clothes, taking a selfie, and smiling." \
--resolution 1024 \
--batch-size 1 \
--num-steps 500 \
--gradient-accumulation 4 \
--lr 1e-4 \
--fp16 \
--gradient-checkpointing \
--push-to-hub \
--token $HF_TOKEN \
--repo-id $REPO_ID技术支持

训练模型并将 LoRA 权重推送到 Hugging Face 共耗时 2 小时 15 分钟。

LoRA 是 Low-Rank Adaptation（低秩适配）的缩写，这是一种在不修改原始权重的情况下，向现有模型添加小型可训练层的技术。

LoRA 的优势在于，它能在无需大量计算或内存开销的前提下，为模型引入新概念，例如新的艺术风格、角色或主题。

Steps: 100%|█████████| 500/500 [2:15:11<00:00, 14.49s/it, loss=0.119, lr=0.0001]Model weights saved in Dreambooth_SDXL/pytorch_lora_weights.safetensors
Steps: 100%|█████████| 500/500 [2:15:11<00:00, 16.22s/it, loss=0.119, lr=0.0001]
pytorch_lora_weights.safetensors: 100%|████| 23.4M/23.4M [00:01<00:00, 11.9MB/s]技术支持

我们没有保存 7GB 的模型文件，而是保存了一个 23.4MB 的 LoRA 适配器，它将在推理时挂载到基础模型上。

图片来源：kingabzpro/sdxl-lora-abid

SDXL 微调模型的推理

我们将创建一个扩散流水线来生成图像，使用自定义 VAE 解码器与 FP16 精度的 SDXL 基础模型。

随后，我们将加载 LoRA 权重，并通过 Hugging Face 的仓库 ID 将其添加到基础模型中。

最后，我们用提示词运行流水线并生成三张图像。

from diffusers import DiffusionPipeline, AutoencoderKL, StableDiffusionXLImg2ImgPipeline

import torch

vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)
pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    vae=vae,
    torch_dtype=torch.float16,
    variant="fp16",
    use_safetensors=True,
)
pipe.to("cuda");
pipe.load_lora_weights(REPO_ID, weight_name="pytorch_lora_weights.safetensors")


prompt = "A photo of Abid Ali Awan participating in a marathon."

image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt = 3)
image_grid(image.images, 1, 3)技术支持

结果十分出色。我们已成功微调模型，使其能够生成作者 “Abid Ali Awan” 的图像。

我们再换一个提示词试试。

prompt = "A photo of Abid Ali Awan giving a press conference."

image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt = 3)
image_grid(image.images, 1, 3)技术支持

结果依然非常出色。

使用 Refiner

在本节中，我们将使用 SDXL Refiner 1.0 来提升生成图像的质量。

首先，我们会使用 Stable Diffusion 流水线生成图像，并设置一个固定随机种子以确保可复现性。

prompt = "A photo of Abid Ali Awan wearing a business suit at an office meeting."

seed = 65
generator = torch.Generator("cuda").manual_seed(seed)
image = pipe(prompt=prompt, num_inference_steps=25, generator=generator).images[0]
image.resize((300, 300))技术支持

接着，我们将加载 SDXL refiner，并用同样的提示词、生成器与生成图像来运行精修流水线。

refiner = StableDiffusionXLImg2ImgPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    vae=vae,
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
)
refiner.to("cuda");

image = refiner(prompt=prompt, num_inference_steps=25, generator=generator, image=image)
image.images[0].resize((300, 300))技术支持

图像精修器提升了图像质量，但结果与作者原始照片并不相像，反而呈现了一位南亚地区的通用商务人士。或许对于微调后的模型，最好避免使用精修器。

微调 SDXL 模型之后，下一步就是构建生成式 AI 应用。若您在寻找项目灵感，可参阅博文用生成模型与开源工具构建的 5 个项目。

结语

在本教程中，我们了解了 Stable Diffusion XL 模型与 DreamBooth 技术。此外，我们还学习了如何使用 AutoTrain Advance 的 DreamBooth 脚本微调 Stable Diffusion XL，以实现个性化图像生成。

在加载 SDXL 基础模型后，我们仅凭作者的五张照片就训练了一个轻量级 LoRA 适配器。随后将 LoRA 权重挂载到基础 SDXL 上，使其能够在各种想象场景中生成作者的高质量图像，同时保留这款数十亿参数模型的全部能力。

尽管 SDXL Refiner 提升了图像质量，但它在通用提示词上效果更佳，且似乎会覆盖部分通过微调实现的个性化。不过，本教程已展示了只需少量图像，便可借助 AutoTrain Advance 轻松微调 SDXL 模型的流程。

如果您刚接触 AI，想了解相关热度背后的缘由，建议学习AI 基础课程，帮助您认识生成式 AI 与复杂语言模型。此外，您还可以报名Python 机器学习科学家职业路径，系统学习自然语言处理与图像处理，以及 scikit-learn、PySpark 与 Keras 等常用 Python 机器学习包，为 AI 工程职业生涯起步。