匹配正文：…拼接，并经线性输出投影恢复模型维度。注意力权重反映该前向计算中的加权系数，但不能直接当作因果解释或特征重要性的充分证据。标准全局self-attention计算和显式分数存储随序列长度呈二次增长。FlashAttention减少中间矩阵的高带宽内存读写，但不改变全局attention的数学结果。KV Cache只在自回归解码中避免为历史token重复计算K/V；训练和prefill仍需处理整段输入，不能靠KV Cache消除其二次attention成本。图解 Self-A…

#Self-Attention#Transformer#注意力机制

系统教程·模型基础

Transformer 与模型架构面试题大全

匹配标题与标签：Transformer 与模型架构面试题大全 Transformer 与模型架构面试准备枢纽：Self-Attention、MHA/GQA/MQA、KV Cache、Decoder-only、MoE、推理优化与显存成本 70+ 道真题。模型基础专题学习 Transformer 与模型架构面试题大全

#专题学习#Transformer 与模型架构面试题大全

面试题·模型架构· 海尔

位置编码为什么重要?

匹配正文：位置编码提供顺序与距离信息不带位置注入的全局 self-attention 对输入排列具有置换等变性，模型需要额外信号区分 token 顺序。常见方法包括： learned absolute position embedding：位置查表后与 token 表示相加，超过表长没有已学习向量； sinusoidal absolute encoding：按位置和频率计算 sin/cos，可在数学上生成更长位置，但模型未必学会训练长度外的行为； relative position …

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#位置编码#Transformer#自注意力机制

面试题·模型架构· 海尔

Encoder vs Decoder 功能区别?

匹配正文：… Encoder-decoder：encoder把源序列编码成随源长度变化的memory；decoder对目标前缀做causal self-attention，并用cross-attention读取整段memory。机器翻译属于典型场景。 Decoder-only：没有独立encoder，把条件和输出前缀放进同一因果序列。训练时encoder位置可以并行；自回归decoder在teacher forcing下也可并行计算各目标位置的loss，只用因果mask阻止未来泄漏。推…

#Seq2Seq#Encoder-Decoder#Transformer

面试题·模型架构· 海尔

Encoder vs Decoder 核心区别?

匹配正文：先区分三类结构结构可见信息主要输出 Encoder-only 通常对有效输入做双向self-attention 每个输入位置的上下文表示 Encoder-decoder encoder编码源序列；decoder做masked self-attention并cross-attend encoder memory 条件生成序列 Decoder-only 对统一序列做causal self-attention 下一个token分布 Encoder输出通常是随源长度变化的一组t…

#Transformer#Encoder-Decoder架构#自注意力机制

面试题·模型架构· 美团

Transformer 架构核心组件原理

匹配正文：…oder-decoder 输入token embedding与位置编码相加后进入N层encoder。每层包含multi-head self-attention和逐位置FFN；每个子层外有残差、dropout和LayerNorm。原始论文使用Post-LN： LayerNorm(x + Sublayer(x)) 不是现代Pre-LN的 x + Sublayer(LN(x))。 Decoder每层依次包含masked self-attention、对encoder memory的…

#Transformer#自注意力机制#位置编码

面试题·模型架构· 安克科技

GPT vs BERT 核心区别在哪?

匹配正文：核心对比维度 GPT 类 BERT 类架构 Decoder-only，causal self-attention Encoder-only，双向 self-attention 预训练目标自回归 next-token prediction 原始 BERT 使用 masked language modeling，并包含 NSP 输出每个位置的隐藏表示及下一 token 分布，可迭代生成每个 token 的双向上下文表示，通常接任务头擅长开放式/条件生成、对话、摘要、…

#自回归模型#自编码模型#Transformer

面试题·推理优化· 字节

KV-Cache 空间复杂度怎么算?

匹配正文：空间复杂度对decoder self-attention，若K/V缓存形状按 [B, n_kv_heads, L, d_head] 计算，总字节数近似为： 2 × B × L × n_layers × n_kv_heads × d_head × bytes_per_element 前面的2代表K和V。因而空间对batch、已缓存序列长度、层数、KV头数和头维都是线性增长。必须使用 n_kv_heads，不能一律代入query头数；MQA/GQA正是通过减少KV头数降低缓存常…

#KV-Cache#显存优化#自回归生成

面试题·多模态· 百度

ViT 图像块嵌入原理与实现

匹配正文：…前加入可学习CLS token，并加可学习位置embedding；分类读取CLS输出。其他模型也可用平均池化、二维/相对位置编码。Self-attention提供单层全局token交互，而CNN通过堆叠、下采样或大卷积核同样可以获得全局感受野，区别是归纳偏置和交互路径，不是“CNN做不到全局”。图解 ViT 图像块嵌入原理与实现图解

#ViT#Patch Embedding#视觉Transformer

面试题·推理优化· 字节

ZeRO 与 FlashAttention 各优化什么?

匹配正文：注意力瓶颈与优化路线标准稠密 self-attention 的分数计算和矩阵规模随序列长度二次增长。优化需按目标分层：精确 kernel：FlashAttention/SDPA 用 tiling、online softmax 和融合减少 HBM I/O 与辅助存储，仍计算 exact dense attention。减少 KV heads：MQA/GQA 降低解码 KV Cache 和带宽，可能改变质量/并行权衡。限制连接：滑动窗口、块稀疏或全局+局部模式减少实际计算…

#注意力优化#ZeRO#Flash Attention

面试题·Agent· 字节

Attention 在 Agent 多轮对话有哪些局限?

匹配正文：核心局限性分析 1. 上下文长度硬约束标准Self-Attention的O(n²)计算/内存复杂度，导致实际部署中上下文窗口受限（通常4K-128K tokens） Agent多轮对话中，工具调用记录、观察结果、用户偏好等快速填满窗口，触发截断或滑动窗口遗忘 2. 历史信息稀释效应 Softmax归一化使Attention权重随序列长度增加而趋于平均化，早期关键信息（如任务目标、已确认的用户约束）被"淹没" 实验观察：超过20轮后，首轮系统指令的Attention权重常降至…

#字节#淘天#Agent

面试题·评估· 字节

Attention 在多轮对话中有什么局限?

匹配正文：核心局限：Agent多轮对话的三大瓶颈 1. 计算复杂度爆炸标准Self-Attention是O(n²)复杂度，Agent多轮对话上下文轻松破万token 每轮新输入都要与全部历史做Attention，延迟线性增长，实时性崩塌 2. KV Cache显存瓶颈多轮对话需缓存每层的K、V矩阵，长度随轮次累积工具调用返回的结果、RAG检索的文档进一步膨胀缓存显存占用 = 层数 × head数 × head_dim × 序列长度 × batch_size × 2(K+V) 3…

#字节#评估与监控#Attention 局限性

面试题·模型架构

Transformer 是什么?为什么是大模型的基石?

匹配正文：…ention)来处理序列数据的神经网络架构,它抛弃了此前主流的循环结构,让序列中每个位置都能直接与其他所有位置交互。所谓自注意力(Self-Attention),直觉上就是:句子里的每个词在计算自己的表示时,会同时「看」句子里所有的词,并给相关的词更高的权重。比如「我在河边看到了岸」,「岸」这个字会更多地关注「河」,从而确定自己的含义;换一个句子,同一个字关注的对象就会不同。为什么它是大模型的基石并行化:RNN(循环神经网络)必须一个词接一个词地算,前一个算完才能算下一个…

#入门#基础概念#Transformer架构

面试题·RAG· OPPO

RAG 为什么需要 Rerank?

匹配正文：…，只处理Top-K Rerank的核心优势细粒度语义理解 Cross-Encoder将Query+Document拼接输入，通过Self-Attention计算深度交互捕捉词法匹配、语义关联、逻辑关系等复杂模式计算资源后置只对Top-K（如100→20）做重排，避免全库高成本计算用"便宜"的向量检索先剪枝，"昂贵"的精排做最终决策灵活性与可扩展性可针对业务场景微调（如法律/医疗领域的相关性定义）易于集成多特征（时效性、权威性、用户偏好）典型方案 Cross-…

#字节#Rerank模型#RAG Rerank

面试题·模型架构· 美团

Transformer 为何用 Layer Norm?

匹配口述回答：…法。LN或RMSNorm改变送入Q和K投影的输入尺度及中心，当然会影响attention logit和最终softmax分布。它与self-attention常见组合的原因是训练配方成熟和残差路径更易控制，而不是因为归一化对attention透明。所以Transformer不是数学上必须用LayerNorm。BatchNorm和其他norm在特定结构里也能用，只是需要明确统计轴、mask、训练推理统计和分布式同步成本。现代大模型还大量使用RMSNorm，说明真正目标是稳定残…

#Layer Normalization#Batch Normalization#归一化机制

面试题·模型架构· 字节

Multi-Head Attention 维度变化

匹配口述回答：…tion，Q来自目标序列，K和V来自源序列，此时分数形状应是B、H、L_q、L_k，mask也要按这两个长度广播。代码评审时我会把self-attention和cross-attention测试分开，并检查非连续张量在view前是否已contiguous。这些边界往往比主公式更容易造成线上错误。混合精度下还要关注scores的数值范围，优先使用经过验证的框架算子，并在不同dtype下检查输出和梯度容差，不能只在FP32小样本上验证。先约定输入和头维依次讲QKV、分头、注…

#多头注意力#Transformer#注意力机制

Self-Attention 怎么计算 QKV?

Transformer 与模型架构面试题大全

位置编码为什么重要?

Encoder vs Decoder 功能区别?

Encoder vs Decoder 核心区别?

Transformer 架构核心组件原理

GPT vs BERT 核心区别在哪?

KV-Cache 空间复杂度怎么算?

ViT 图像块嵌入原理与实现

ZeRO 与 FlashAttention 各优化什么?

Attention 在 Agent 多轮对话有哪些局限?

Attention 在多轮对话中有什么局限?

Transformer 是什么?为什么是大模型的基石?

推荐不准的分层诊断

RAG 为什么需要 Rerank?

Transformer 为何用 Layer Norm?

Multi-Head Attention 维度变化