页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「梯度裁剪」找到 3 条内容
按专题浏览 →匹配标题与标签：训练曲线异常怎么排查？ Loss/梯度范数震荡、上升、过早饱和的原因与应对 模型训练 训练监控 学习率调度 梯度裁剪 损失函数分析 训练稳定性 2026真题 训练曲线分析 Loss震荡 梯度范数异常 大模型训练与微调 美团
匹配正文：…ht decay、dropout、早停和模型容量；平台期可检查学习率计划、batch 和数据；不稳定可降低学习率、修数值问题或使用梯度裁剪。clip_grad_norm_ 的 max_norm 是用户设定阈值，官方 API 不规定“大于 1 就裁剪”的通用规则。阈值应依据稳定训练的总梯度分布、模型规模、优化器、精度和任务回测，并监控裁剪比例，避免长期裁剪掩盖根因。
匹配口述回答：…te-to-weight ratio、学习率和 NaN/Inf。loss 变平可能表示接近局部平台，也可能是学习率过小、数据重复、梯度裁剪过强或模型容量受限。loss 仍下降也不代表应继续训练，因为模型可能只是在记忆训练样本。 验证集提供未直接参与梯度更新的数据，用于比较超参数、决定早停、选择 checkpoint 和设置阈值。可每次查看验证结果并改变训练决策，都在间接利用这份数据。搜索的配置越多，越可能偶然选中对验证集有利的方案。因此验证集是模型选择工具，不是经历无限次选择…
学习内容与项目面试，在同一条路上。