匹配正文：…次性生成双向表示的分类、检索和标注；encoder-decoder 对有明确 source/target 分工的条件生成仍有价值。Decoder-only 的规模收益是经验结果，不能虚构约 10B 的“涌现阈值”。选型应比较同 token/参数预算下的质量、训练吞吐、prefill/decode 延迟与缓存成本。图解 Decoder-only 架构为何是主流?图解

#Decoder-only架构#自回归生成#因果注意力

系统教程·模型基础

Transformer 与模型架构面试题大全

匹配标题与标签：Transformer 与模型架构面试题大全 Transformer 与模型架构面试准备枢纽：Self-Attention、MHA/GQA/MQA、KV Cache、Decoder-only、MoE、推理优化与显存成本 70+ 道真题。模型基础专题学习 Transformer 与模型架构面试题大全

#专题学习#Transformer 与模型架构面试题大全

面试题·模型架构· 美团

匹配正文：…于打破纯attention对顺序的置换对称；原论文使用正弦余弦编码。它可计算到训练长度之外，但“可计算”不保证模型可靠外推。现代架构要分开说 BERT是encoder-only；GPT是decoder-only，没有原始seq2seq decoder中的cross-attention；T5属于encoder-decoder。现代LLM常采用Pre-Norm、RMSNorm、RoPE和不同FFN，不能倒写成原始Transformer定义。训练时decoder各位置可在因果ma…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Transformer#自注意力机制#位置编码

面试题·模型架构· 海尔

Encoder vs Decoder 功能区别?

匹配口述回答：…oder memory，其中query来自decoder状态，key和value来自源序列表示。最后再预测下一个目标token。 Decoder-only模型则没有独立encoder和这种encoder-decoder cross-attention。它把指令、上下文和输出前缀放在同一个因果序列里，所有条件通过causal self-attention传递。所以“decoder”这个词必须连同完整架构一起说，不能把GPT式decoder-only与机器翻译decoder混为一…

#Seq2Seq#Encoder-Decoder#Transformer

面试题·模型架构· 海尔

Encoder vs Decoder 核心区别?

匹配追问：为什么现在大模型多为Decoder-only架构？Encoder-only（如BERT）和Decoder-only（如GPT）各适合什么场景？Transformer中编码器和解码器的注意力机制有何具体差异？场景切入假设你要做一个翻译系统，比如把英文邮件自动翻译成中文。你会怎么设计编码器和解码器的结构？它们各自负责什么，有什么区别？层层追问你理解序列到序列模型吗？……编码器和解码器在机器翻译里分别做什么？……那它们的注意力机制有什么不同？为什么解码器要用因果掩码？直球…

#Transformer#Encoder-Decoder架构#自注意力机制

面试题·模型架构· 安克科技

GPT vs BERT 核心区别在哪?

匹配正文：核心对比维度 GPT 类 BERT 类架构 Decoder-only，causal self-attention Encoder-only，双向 self-attention 预训练目标自回归 next-token prediction 原始 BERT 使用 masked language modeling，并包含 NSP 输出每个位置的隐藏表示及下一 token 分布，可迭代生成每个 token 的双向上下文表示，通常接任务头擅长开放式/条件生成、对话、摘要、…

#自回归模型#自编码模型#Transformer

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：…thfulness低 → 生成模块问题三、注意力权重分析（辅助手段）只有具有cross-attention且开放相应内部状态的架构，才可提取该类权重；decoder-only模型或托管API不一定提供。注意力大小不能直接证明因果归因。可用权重定位候选片段，再通过删除/替换证据、调整位置与保持其它变量不变的干预验证。不把“高权重”当作模型确实依赖该资料或模块有错的充分证据。四、端到端消融实验实验1: 检索模块消融 → 固定生成模型，换用不同检索策略（BM25→Den…

#百度#评估与监控#RAG 错误定位