页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「梯度流」找到 4 条内容
按专题浏览 →匹配标题与标签：…mer 中层归一化的作用机制与收敛速度影响 模型架构 Layer Normalization Transformer 训练稳定性 梯度流 归一化技术 2026真题 Transformer 训练稳定性 层归一化作用 大模型架构与原理 海尔
匹配正文：…己决定何时检索、用多少检索结果 3. 端到端训练 传统：检索器固定（Elasticsearch）→ 生成器固定（GPT-3）→ 零梯度流动 现代：检索编码器 + 生成器 联合优化 - 挑战：检索的离散操作不可微 - 解法：Gumbel-Softmax近似、强化学习（REINFORCE）、或者像REALM那样预训练整个系统 4. 关键能力跃迁 自适应检索：模型判断"我知道/不知道"，避免检索噪声 多跳推理：检索-生成-再检索的迭代，如IRCoT 端到端可学习：从"用检索增强生成…
匹配口述回答：…时把decoder一侧关于z_q的梯度近似复制给encoder输出。它是梯度估计方法，不代表最近邻操作本身变成可导。 损失可以顺着梯度流向来讲。重建损失要求decoder恢复输入；codebook loss把embedding拉向分配给它的encoder输出，并用stop-gradient避免更新错一侧；commitment loss约束encoder输出靠近选中的embedding，避免表示幅值不断漂移。这里尤其要说明，commitment loss主要约束encoder，…
学习内容与项目面试，在同一条路上。