匹配正文：…输入的双向上下文，输出通常是[B,L_src,D]的一组hidden states，而不是天然压成单个固定向量。分类时可再池化。 Encoder-decoder：encoder把源序列编码成随源长度变化的memory；decoder对目标前缀做causal self-attention，并用cross-attention读取整段memory。机器翻译属于典型场景。 Decoder-only：没有独立encoder，把条件和输出前缀放进同一因果序列。训练时encoder位置可…

#Seq2Seq#Encoder-Decoder#Transformer

面试题·模型架构· 海尔

Encoder vs Decoder 核心区别?

匹配正文：… 结构可见信息主要输出 Encoder-only 通常对有效输入做双向self-attention 每个输入位置的上下文表示 Encoder-decoder encoder编码源序列；decoder做masked self-attention并cross-attend encoder memory 条件生成序列 Decoder-only 对统一序列做causal self-attention 下一个token分布 Encoder输出通常是随源长度变化的一组token表示 …

#Transformer#Encoder-Decoder架构#自注意力机制

面试题·模型架构· 美团

Transformer 架构核心组件原理

原始Transformer：encoder-decoder 输入token embedding与位置编码相加后进入N层encoder。每层包含multi-head self-attention和逐位置FFN；每个子层外有残差、dropout和LayerNorm。原始论文使用Post-LN： LayerNorm(x + Sublayer(x)) 不是现代Pre-LN的 x + Sublayer(LN(x))。 Decoder每层依次包含masked self-attention…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：

#Transformer#自注意力机制#位置编码

面试题·模型架构· 安克科技

GPT vs BERT 核心区别在哪?

匹配正文：…检索编码等理解任务 GPT 可以把源文本、任务指令与已生成目标放在同一因果序列中，直接执行摘要和翻译，不需要额外 Encoder。Encoder-decoder 是另一种可选架构，不是 GPT 做条件生成的必要条件。 BERT 的双向注意力能同时利用左右上下文，适合产生整段输入的上下文表示，但原始 BERT 不是自回归生成器。它也不是开箱即用的 faithfulness 或事实核验器；只有在 NLI、事实一致性或特定判别数据上训练，并经过域内校准后，BERT 类模型才可承担相…

#自回归模型#自编码模型#Transformer

面试题·模型架构· 海尔

Decoder-only 架构为何是主流?

匹配正文：…、摘要、翻译、代码和工具调用，便于在大规模混合语料上扩展。它是单一堆栈，系统实现和参数分配相对统一，但这不证明它在所有任务上优于 encoder-decoder。训练与推理训练采用 teacher forcing，所有位置的 next-token loss 可并行计算；因果 mask 不意味着训练逐 token 串行。推理必须自回归：prefill 并行处理输入，decode 每步生成一个 token。KV Cache 保存历史 K/V，避免重复投影，但标准注意力下单步仍…

#Decoder-only架构#自回归生成#因果注意力