完整题目
请详细说明Stable Diffusion v1、v2、XL、3以及SDXL-Turbo等主要版本在模型架构、训练数据、生成质量、推理效率和应用场景方面的关键差异,并分析其技术演进路径。
版本差异要按模型族与具体 checkpoint 说明
Stable Diffusion v1 以 Latent Diffusion 为基础,在 VAE 潜空间中使用 U-Net 去噪,并通过 CLIP 文本编码器提供条件。常见 v1.x checkpoint 以 512×512 为主要训练分辨率,但不同衍生模型的数据与许可不能混写。
Stable Diffusion v2 系列仍是潜空间扩散与 U-Net 路线,文本侧改用 OpenCLIP,但不同 checkpoint 的预测目标不能混写:512-base 使用标准 noise/epsilon-prediction;768-v 从 512-base 继续训练到 768×768,并采用 v-objective。v2 发布还包含深度条件、放大和修复等 checkpoint,因此既不能把整个 v2 系列统一说成 512 模型,也不能把 v-prediction 泛化为所有 v2 checkpoint 的共同训练目标。
SDXL 扩大 U-Net,使用双文本编码器、额外文本与尺寸条件,并提供 base 与可选 refiner,官方基线面向 1024×1024。Stable Diffusion 3 则改用 MMDiT,让文本 token 与图像 token 以各自权重交互,并采用 rectified-flow 训练框架。论文的 scaling study 训练了约 450M 到 8B 的模型;Stability AI 当时公布的初始发布规划则是 800M 到 8B。前者是研究缩放范围,后者是发布规划口径,不能混写,也不能把所有 SD3 都说成 8B。
SDXL-Turbo 是从 SDXL 蒸馏出的低步数模型,采用 Adversarial Diffusion Distillation,可在 1 到 4 步生成。官方模型卡建议 512×512;更高分辨率可以尝试但质量可能下降,而且模型卡明确说明不能稳定生成可读文字。显存、延迟和吞吐必须绑定 checkpoint、精度、分辨率、采样步数、batch 与硬件实测,不存在通用的 24GB 门槛。
继续追问 · 3 个问题
- SD3的DiT架构相比UNet的优势具体体现在哪里?
- SDXL-Turbo的蒸馏训练细节和潜在缺陷是什么?
- 如果要在移动端部署文生图,你会选择哪个版本并如何优化?
换一种问法,检查是否真正理解
场景切入
假设你要做一个电商海报生成的AI工具,用户既想要快速预览图,又要求最终出图质量高、文字清晰。市面上有Stable Diffusion v1、SDXL、SD3、还有Turbo版本,你怎么给业务方推荐?它们到底差在哪儿?
层层追问
从SD v1到SD3,Stable Diffusion的架构发生了哪些主要变化?……那SDXL的双模型级联设计是为什么?……到了SD3为什么又换成了DiT?……这种演进路径背后,你觉得根本的驱动力是什么?
直球架构
请系统比较Stable Diffusion v1、v2、XL、3和XL-Turbo在模型架构、训练数据、生成质量、推理效率和应用场景上的关键差异,并分析其技术演进路径。