匹配正文：…不是单个固定长度上下文向量。它不使用因果mask，但通常需要padding mask或其他任务mask，不能说“无mask”。在机器翻译中，encoder读取完整源句并产生encoder memory。decoder在每一步只能通过因果self-attention看到已生成的目标前缀，同时通过cross-attention读取整段源序列表示，最终预测下一个目标token。 Decoder-only GPT没有独立encoder，也没有上述encoder-decoder cr…

#Transformer#Encoder-Decoder架构#自注意力机制

面试题·模型架构· 海尔

Encoder vs Decoder 功能区别?

匹配正文：…y；decoder对目标前缀做causal self-attention，并用cross-attention读取整段memory。机器翻译属于典型场景。 Decoder-only：没有独立encoder，把条件和输出前缀放进同一因果序列。训练时encoder位置可以并行；自回归decoder在teacher forcing下也可并行计算各目标位置的loss，只用因果mask阻止未来泄漏。推理时目标token依赖已生成前缀，通常逐token解码。Beam Search只是在解…

#Seq2Seq#Encoder-Decoder#Transformer

面试题·模型架构· 海尔

Layer Norm 怎么稳定训练?

…景？除了LN，还了解哪些归一化技术如RMSNorm、DeepNorm吗？场景切入假设你在训练一个深层Transformer做机器翻译，训练到一半发现loss震荡很厉害，怎么都降不下去。你检查了梯度也没问题，这时候你会不会考虑调一下层归一化的位置？层层追问你了解Transformer里那些归一化层是干什么的？……那换个角度，如果我把所有LN都去掉，你觉得模型还能训出来吗？……具体说说它到底怎么影响梯度和收敛的？直球架构解释一下Layer Normalization…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配追问：

#Layer Normalization#Transformer#训练稳定性

面试题·评估· 百度

自动 vs 人工评价怎么选?

匹配口述回答：…法覆盖全部风险。【90秒主答】 BLEU 统计 n-gram precision 并加入 brevity penalty，常用于机器翻译；ROUGE 侧重与参考摘要的 n-gram 或最长公共子序列重合；BERTScore 用上下文 embedding 匹配参考与候选。它们都需要参考文本，但参考答案往往不完整，语义正确的改写可能被词面指标低估，embedding 指标也可能忽略事实矛盾。因此要按任务选择，并人工抽检。 reference-free 指标不需要标准答案，但仍需…

#BLEU#ROUGE#BERTScore

面试题·模型架构· 字节

RMSNorm推理效率更高吗?

匹配口述回答：…ntion 与 FFN 的尺度，降低深层残差堆叠对初始化和学习率的敏感性。RMSNorm 不保留显式的重中心化不变性，但论文在若干机器翻译和语言建模任务中观察到可比性能。这个结果依赖实验模型与训练配方，不能升级为任何深度、任何数据、任何数值精度都不影响收敛的证明。【完整展开】归一化类型和放置位置要拆开。Pre-Norm 写成 x+F(Norm(x))，残差主干为梯度提供较直接路径；Post-Norm 常写成 Norm(x+F(x))。Norm 可以是 LayerNorm，…

#LayerNorm#RMSNorm#归一化技术