匹配正文：动态计算图与自动微分 PyTorch eager 模式在执行 forward 运算时记录参与求导的操作。只要 grad mode 开启且相关输入 requires_grad，结果 Tensor 会通过 grad_fn 指向自动微分图中的节点。图是本次实际执行路径的记录，因此 Python 分支、循环和动态形状可以在下一次迭代构建不同的图。 autograd 主要使用反向模式自动微分。forward 中部分算子会保存 backward 所需的 Tensor；调用 backwar…

#动态计算图#自动微分#反向传播

面试题·模型架构· 海尔

Transformer归一化方法有哪些?

匹配正文：…定容量上限，也不能用未经来源支持的金融模型数字证明优劣。gamma如何初始化同样依赖具体架构，常见值不能提升为普遍定律。面试里画计算图比背标签更可靠。沿主残差流看，若输入先进入Norm再交给attention或FFN，同时原输入直接旁路相加，就是Pre-Norm；若attention或FFN输出先与输入相加，和再进入Norm，就是Post-Norm。还要说明一个Transformer block通常有attention和FFN两个子层，每个子层都要按同一约定判断，最终输出前…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#LayerNorm#RMSNorm#Pre-Norm

面试题·模型训练· 美团

GLoRA 比传统 LoRA 强在哪?

匹配正文：…层共享同一个固定配方。训练完成后，能够等价合并的分支通过 structural re-parameterization 融入权重或计算图，论文目标是在部署时不增加额外推理开销。优势与边界 GLoRA 的优势是统一多类 PEFT 设计并允许层级差异，在论文覆盖的视觉迁移、少样本、域泛化和部分语言模型实验中表现有竞争力。它的代价是搜索与训练流程比普通 LoRA 更复杂，搜索结果依模型、数据和预算；不能泛化成“相同参数量必然更好”或“多任务一定最适合”。选型应比较可训练参数、搜索…

#PEFT#LoRA#低秩适配

面试题·模型架构· 海尔

Transformer 为何要归一化?

匹配追问：…设现在要调整一个深层 Transformer block 的归一化位置。你会怎样画出原始 Post-LN 与常见 Pre-LN 的计算图，并判断它们对残差梯度路径的影响？层层追问 LayerNorm 具体沿什么维度计算？……原始 Transformer 的 Norm 放在哪里？……Pre-LN 又放在哪里？……如果换成 RMSNorm，改变的是统计还是残差位置？直球技术请说明 Transformer 引入归一化的作用，写出 LayerNorm 机制，并准确区分 Post…

#Layer Normalization#残差连接#梯度消失

面试题·模型架构· 字节

自回归生成用 token id 还是概率分布?

匹配口述回答：…语义，不能当作标准解码的等价替换。 KV Cache也不强制输入必须是离散token。如果下一步只接收一个期望embedding，计算图仍只有一条路径，也只需要一份对应K/V。只有想精确保留多个离散候选并分别继续生成时，才像Beam Search那样为每个分支维护状态。不能说使用soft分布就必然为词表每个token缓存一份。所以工程上默认选择一个token id，是因为训练数据、输出协议和搜索目标都定义在离散序列上。是否用贪婪或采样由质量、多样性和可复现性决定；如果研究连…

#自回归生成#softmax采样#梯度传播

面试题·推理优化· 美团

可视化怎么诊断训练问题?

匹配口述回答：…可记录梯度范数、参数范数、相对更新、零梯度比例和非有限值，并观察多个窗口。底层梯度小可能是冻结配置、attention mask、计算图断开、激活饱和、归一化或任务梯度本来集中在顶层，必须先验证原因。激活直方图可看 ReLU 死区、sigmoid 饱和、均值方差漂移和异常尖峰。【完整展开】调参从假设出发。若训练好而验证差，尝试更可靠的数据划分、去重、增加数据、weight decay、dropout、早停或减小模型，并保留基线；若训练也学不动，检查标签、loss mask…

#训练可视化#过拟合诊断#梯度消失/爆炸

面试题·模型训练· 百度

重参数化技巧怎么解决梯度问题?

匹配口述回答：…哪些张量需要梯度。epsilon 只是外部噪声，不需要对它求导；mu 和 log-variance 来自 encoder，必须保留计算图；sigma 通常由稳定的参数化得到，再与 epsilon 组合。若误把 z 整体 detach，重建信号就回不到 encoder；若在数值上直接预测不受约束的 sigma，也容易出现不稳定。用一个小 batch 查看各模块梯度是否非零，通常就能发现这类错误。对于离散变量，我会明确告诉面试官不存在完全照搬的平滑路径。直通估计让前向离散、反向…

#重参数化技巧#VAE#扩散模型

面试题·推理优化· 百度

视频生成加速有哪些方法?

匹配口述回答：…说明编码器和解码器怎样压缩视频，不代表生成主干一定采用因果或滑窗attention。KV cache也不是视频建模的通用替代，只有计算图中历史K/V在后续步骤确实不变且可复用时才成立。类似“某版本使用MoE”的说法必须查到对应版本论文，否则不作为面试事实。第四层是模型和kernel。可以做教师学生蒸馏、量化、低秩或稀疏专家，但量化后的时序误差、专家通信和硬件支持必须实测。FlashAttention、算子融合和sequence parallel是在数学结构确定后减少中间读写…

#视频生成#扩散模型加速#时序建模优化