页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「梯度稳定」找到 2 条内容
按专题浏览 →匹配题目：大模型的参数规模如何影响其学习能力、训练动态、优化难度以及泛化性能？请结合过拟合、梯度稳定性等角度进行分析。
匹配正文：…使用 batch 统计。零均值和单位方差只描述 affine 之前的标准化结果；可学习 γ、β 会重新调整每个维度。 为什么有助于梯度稳定 控制进入 attention 与 FFN 的激活尺度，减少极端 logit 和数值溢出； 降低连续残差堆叠对初始化与学习率的敏感性； 在 Pre-LN 结构中，残差主干绕过子层归一化，为深层梯度提供较直接路径。 这些作用是降低风险，不是保证不会梯度消失/爆炸，也不能由此推出“牺牲表征能力”。若出现不稳定，应联合检查 loss、各层激活/R…
学习内容与项目面试，在同一条路上。