模型收敛必须用验证集吗？

训练收敛、模型选择和泛化评估是三个问题

训练损失下降或趋于平台，能说明当前优化目标在训练数据上的变化；结合梯度范数、参数更新比、学习率和数值稳定性，可判断优化是否停滞或发散。但训练损失不能证明模型对未见数据泛化，也可能继续下降同时过拟合。

验证集用于超参数选择、早停、checkpoint 选择和阈值调整。它不是天然“无偏”的泛化估计：反复查看并据此决策会对验证集过拟合。最终泛化结果应在未参与选择的独立测试集上报告。数据少时可用交叉验证、时间切分或嵌套验证，但仍要保留未见证据。

大规模预训练同样常持续监控 held-out loss、下游评测和数据污染，并非通常不使用验证集。若成本限制无法频繁全量评测，可用稳定的 held-out 样本、在线探针和分层小集，但不能完全依赖训练 loss。

Adam 的二阶矩是梯度平方的指数移动平均，用来缩放更新，不是收敛证明。更可靠的停止依据是预先定义的 token/算力预算、held-out 指标平台或恶化、更新量、任务质量和多次评测的一致结果。