搜索大模型内容

LayerNorm 如何控制激活尺度?

匹配正文：…。 这些作用是降低风险，不是保证不会梯度消失/爆炸，也不能由此推出“牺牲表征能力”。若出现不稳定，应联合检查 loss、各层激活/RMS、梯度范数、参数更新比、学习率、精度和异常 batch，不能仅靠一张梯度直方图下结论。 多模态边界 不同模态的统计和量纲可能不同，可以在各自编码器或投影层使用独立 LN/RMSNorm、可学习 scale 或门控，再通过消融选择。不能说“强行 LN 必然丢信息”；归一化会改变尺度，而保留哪些信息取决于架构、affine 参数与任务评测。