完整题目
VQ-VAE 的重建损失、codebook loss 和 commitment loss 各自更新什么？梯度式与 EMA 码本更新有什么区别，如何监控 dead codes 与码本利用率？
本文目录
VQ-VAE 的结构
- Encoder 将输入 x 映射为连续 latent 网格 z_e(x)。
- 向量量化层对每个 latent 位置寻找最近的 codebook 向量 e_k，得到离散索引 k 和量化表示 z_q(x)。
- Decoder 从 z_q(x) 重建输入。训练时用 straight-through estimator，让重建损失的梯度近似传回 encoder。
损失与码本更新
原始 VQ-VAE 常写为：重建损失 + codebook loss + commitment loss。
- codebook loss 通过 stop-gradient 只更新 codebook embedding；
- commitment loss 主要约束 encoder 输出靠近已选码本，避免其幅度无界漂移；
- 也可以使用 EMA 根据分配到各 code 的 encoder 输出更新码本。EMA 与梯度式 codebook 更新是两种方案，不能混写成 commitment loss 更新码本。
码本大小 K 决定离散词表规模和每个索引的信息容量；token 序列长度由 latent 网格尺寸、下采样率及输入长度决定，增大 K 不会自动增加 token 数。
优势与挑战
离散表示便于接自回归先验、压缩和生成，但仍可能出现 dead codes、codebook collapse、量化误差与重建细节损失。应监控码本使用率、perplexity、重建指标和下游生成质量，并通过 EMA、死码重置、使用率正则或调整容量处理。