除了Stable Diffusion,我会按生成机制分路线,而不是把所有模型混成一个榜单。第一类是GAN,例如StyleGAN2和CycleGAN。它通过生成器与判别器对抗训练,采样通常一次前向就能完成,延迟有优势;但训练可能不稳定,也可能出现mode collapse。常见场景包括人脸生成和图像到图像翻译。
第二类是VAE。连续VAE学习近似后验、潜变量先验和decoder,适合概率建模、表示学习和可控latent。VQ-VAE则是离散表示路线,用码本把图像或音频变成离散索引,再训练自回归先验。两者不能只用“都叫VAE”就混为一类,连续与离散潜变量、梯度和生成先验都不同。
第三类是离散token加自回归模型,例如Parti或LlamaGen这类公开工作。它们把图像量化为token,再像语言模型一样做next-token预测,容易复用Transformer和图文序列接口,但生成通常受串行解码影响。LlamaGen是论文方法名,不能错误归为Meta项目;GPT-4V的生成架构公开信息不足,也不适合作为技术例证。
第四类是diffusion,包括DDPM、Imagen、Latent Diffusion和SDXL。它们学习从噪声逐步恢复数据或相关参数化,优点是生成质量和条件控制路线成熟,代价是通常需要多次网络评估。Stable Diffusion和SDXL在连续latent上运行。SDXL可以组合base与refiner,但不应因此把整个技术路线笼统叫cascade。
DALL·E 2也要说准确。它先处理CLIP表征之间的prior,再使用diffusion decoder生成图像,不是通常所说的latent diffusion。把它和Stable Diffusion放在同一“latent VAE扩散”格子里,会掩盖两者潜空间和decoder设计的差异。
第五类是flow matching或rectified flow路线,通过学习随时间变化的速度场,再用ODE类方法从基分布运输到数据分布。Stable Diffusion 3论文采用相关的rectified flow Transformer路线。对没有公开论文或完整官方技术报告的产品,我不会仅凭宣传名称替它归类。具体步数和速度仍取决于训练路径、求解器和实现,不能说flow天然单步。
工程选型时,我会看质量、可控性、单请求延迟、批吞吐、显存、训练稳定性和许可证。实时头像可能偏向GAN或蒸馏后的少步模型,高质量文生图可选择成熟diffusion或flow系统,统一图文序列研究可看自回归路线。LoRA只减少适配参数,不天然减少采样步数;KV cache也只有存在不变且可复用的K/V时才成立,不能当U-Net通用加速。
这些路线也并非互斥。很多系统用autoencoder压缩表示,再在latent上训练diffusion或flow;离散VQ tokenizer后面可接自回归Transformer;生成结果还可能由对抗损失改善感知质量。因此分类时应说清楚主要生成过程和各组件角色,而不是看到一个VAE组件就把整套系统归为VAE。