页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「梯度传播」找到 3 条内容
按专题浏览 →匹配标题与标签：…d 还是概率分布? 解码策略原理:采样/贪婪 vs softmax 分布,影响生成质量 模型架构 自回归生成 softmax采样 梯度传播 离散化 训练推理差异 2026真题 解码策略 token id vs 概率分布 softmax 分布 采样与贪婪 大模型架构与原理 字节
匹配题目：…Reparameterization Trick）的基本原理，它在变分自编码器（VAE）或扩散模型中的作用是什么？并说明其如何解决梯度传播问题。
匹配正文：…pe、是否有bias等实现差异。RMSNorm不是简单“少一个减法”，归约和内核融合决定真实速度。Pre-Norm的恒等残差有利于梯度传播，却可能让深层表示更新幅度变小；Post-Norm在一些充分调优的设置下仍有竞争力。不能给某种结构写固定容量上限，也不能用未经来源支持的金融模型数字证明优劣。gamma如何初始化同样依赖具体架构，常见值不能提升为普遍定律。 面试里画计算图比背标签更可靠。沿主残差流看，若输入先进入Norm再交给attention或FFN，同时原输入直接旁路相…
学习内容与项目面试，在同一条路上。