训练曲线异常怎么排查？

训练曲线是诊断线索，不是单独的故障判决器。loss反映当前目标在采样数据上的平均误差；learning rate反映优化器给更新设置的时间尺度；gradient norm描述梯度整体大小，但会受到参数规模、损失归一化、混合精度和分布式聚合方式影响。

loss平稳下降通常说明优化在推进，突然尖峰可能来自异常batch、数据长度变化、学习率过大、精度溢出或恢复状态错误。持续上升也可能是数据配比切换或目标定义变化。过早变平则可能是学习率太小、可训练模块不足、数据重复、模型容量受限，或任务已经接近当前配置上限。

gradient norm不要求单调下降。训练中数据难度和学习率都在变化，正常run也会波动。比固定绝对阈值更可靠的是与同模型同配置历史基线比较，检查NaN或Inf、突然放大、长期接近数值下限、不同层的分布，以及参数更新范数相对权重的大小。

gradient clipping可以限制异常大更新，但裁剪上限没有通用值。若大量step持续触发裁剪，可能在掩盖学习率、损失尺度或数据问题；若从不触发，也不代表训练必然健康。LoRA的学习率同样依rank、缩放、batch、模型和数据而定，不能从一个固定起点机械搜索。

learning rate曲线要和warmup、decay及恢复checkpoint一起看。warmup阶段loss波动与主训练阶段含义不同；scheduler意外重置会让曲线和更新同时异常。任何诊断都应把实际optimizer state、loss scaler和梯度累积步数纳入日志。

我会为异常时刻保存样本ID、token长度、loss分量、梯度分层统计和系统状态，再用上一个健康checkpoint重放。最后看独立验证指标与人工样本，确认修复没有只让训练曲线变漂亮。曲线提出原因假设，重放和消融才提供因果证据。

图解

放大查看图解 ↗