匹配正文：…ion 按 token 间距离给 attention 加 bias 或关系表示可分桶或按需计算，不必保存完整 L×L 参数矩阵 RoPE 对每个 Q/K 二维对子按位置旋转，使内积带相对位置信息超训练长度表现依频率、训练分布和扩窗方法 ALiBi 对每个头的 attention logit 加与相对距离成比例的线性负偏置简洁、无需位置 embedding，但质量与外推仍需任务评测 RoPE 对位置 m 和维度对子 i 的角度是 m θ_i：(x'_{2i},x'_{2i…

#位置编码#RoPE#相对位置编码

面试题·模型架构· 得物

大模型面临哪些核心挑战?

匹配正文：…不同问题。Ring Attention通过设备间传递K/V块实现分布式的块式精确attention，并不是稀疏attention；RoPE能否外推也不能用“远程衰减”一句话概括。数据与安全：训练数据质量、版权、隐私、偏见、提示注入和工具越权都需要数据治理与系统控制。评测与迭代：离线榜单不能替代目标场景，需要按任务、语言、长度、风险等级分桶，并用线上反馈验证。工程上应先用profile和失败样本确定主要矛盾，再选择优化，不能用“上下文变长”或“参数变大”代替端到端证据。

#计算效率#幻觉问题#长上下文

面试题·模型架构· 海尔

位置编码为什么重要?

匹配正文：…ve position bias/embedding：按 token 间距离或方向修改 attention score 或表示； RoPE：按位置旋转 Q/K 的二维维度对，使点积包含相对位移； ALiBi：给 attention logits 加随距离变化的头特定线性偏置。 “公式可计算”不等于可靠外推。原生正弦编码与 RoPE 超过训练长度后都可能出现困惑度、检索和生成质量退化。扩窗通常结合 position interpolation、频率缩放、继续训练或长上下文微调，…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#位置编码#Transformer#自注意力机制

面试题·模型架构· 字节

RMSNorm vs LayerNorm：训练效率怎么比?

匹配正文：…有再中心化不变性，RMSNorm则会保留均值分量。逐维 gamma 还会改变各维尺度，因此不能说RMSNorm严格保持向量方向或与RoPE“天然正交”。主流模型选择 LLaMA使用Pre-Norm位置的RMSNorm。合理解释是：在保持模型质量的前提下减少归一化统计量并简化实现，而不是“RMSNorm在任何任务都更稳定”。工程选型应比较训练loss、梯度范数、溢出率、吞吐与最终质量。图解 RMSNorm vs LayerNorm：训练效率怎么比?图解

#LayerNorm#RMSNorm#归一化方法

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配正文：…LaMA 等模型采用 pre-normalization 的 RMSNorm，说明它是经过大规模实践验证的架构选择，但不证明它与 RoPE、SwiGLU 天然绑定或对所有任务最优。选型应在相同初始化、学习率、精度和 kernel 下比较 loss、梯度范数、吞吐和最终任务质量。图解 RMSNorm vs LayerNorm：数值稳定性怎么比?图解

#Layer Normalization#RMS Normalization#归一化技术

面试题·推理优化· 得物

超长上下文怎么处理?

匹配正文：… 处理超出原生窗口的输入要先区分三件事：模型是否能表示更远位置、注意力和KV是否算得下、任务是否真需要所有原文同时进入。位置侧可用RoPE缩放或YaRN等方法并配长上下文训练；系统侧可用分块、滑窗、检索和摘要；计算侧可用FlashAttention、序列并行或Ring Attention。Ring Attention通过设备环传递KV块计算块式精确attention，不是稀疏attention。机制与边界 YaRN是RoPE上下文扩展的一种高效方案，论文在特定LLaMA设置…

#长上下文#位置编码#稀疏注意力

面试题·模型架构· 美团

Transformer 架构核心组件原理

匹配正文：…er中的cross-attention；T5属于encoder-decoder。现代LLM常采用Pre-Norm、RMSNorm、RoPE和不同FFN，不能倒写成原始Transformer定义。训练时decoder各位置可在因果mask下并行，推理时通常自回归生成。图解 Transformer 架构核心组件原理图解

#Transformer#自注意力机制#位置编码

面试题·模型架构· 京东

MLA 与 KV Cache 怎么用?

匹配正文：…隐藏状态得到压缩 latent：c_t^KV=W^DKV h_t；通过上投影恢复用于内容注意力的 k_t^C 与 v_t^C； RoPE 部分采用解耦 key k_t^R；推理时每层、每 token 主要缓存 c_t^KV 和 k_t^R，缓存维度应写成 d_c+d_h^R，并乘层数、序列长度、batch 和字节数。上投影可与 Query 侧计算做矩阵吸收以减少显式恢复，但具体 kernel 和精度实现要以代码为准。MLA、GQA、MQA 都在降低 KV Cache，不…

#MLA#KV Cache#注意力机制

面试题·模型架构· 美团

多头注意力原理与QKV拆分陷阱

匹配正文：…，但底层可能用融合kernel完成，不等于真的启动互不相关的任务。位置处理要看架构。绝对位置向量通常在投影前加到token表示；RoPE则对每个头的Q和K成对旋转，使点积带上相对位置信息，V通常不旋转。RoPE原论文给出相对位置性质，但原生配置在训练长度之外并不自动保证稳定效果，实际长上下文常结合频率缩放、插值或继续训练，并在目标长度上验证。内存布局会直接影响性能。reshape和transpose如果产生非连续视图，后续kernel可能需要额外拷贝；训练和prefill…

#多头注意力#Transformer#并行计算

面试题·评估· 字节

Attention 在多轮对话中有什么局限?

匹配正文：…. 位置编码外推失效训练时固定长度（如4K），Agent推理时远超此长度绝对位置编码（正弦/可学习）出现注意力分散，相对编码（RoPE）外推性不足长距离历史信息"被遗忘"或注意力权重异常 Agent场景的特殊挑战场景问题工具链调用中间结果插入导致序列碎片化，Attention模式不规则多轮规划早期推理步骤被稀释，关键决策点难以回溯长期记忆用户偏好、会话历史跨session，超出上下文窗口针对性优化方向稀疏Attention：Sliding Windo…

#字节#评估与监控#Attention 局限性

面试题·模型架构

上下文窗口是什么?超了怎么办?

匹配正文：…几轮对话保留原文 + 更早的对话滚动摘要 + 领域知识走 RAG,三者拼成最终的 prompt。入门后可以深入长上下文外推技术(RoPE 插值、YaRN),以及「窗口大了但中间内容记不住」的 Lost in the Middle 问题。

#入门#基础概念#上下文窗口

面试题·RAG· 百度

对话模型准确性怎么提?

匹配正文：…使用 Toolformer范式：预训练阶段嵌入API调用能力，将外部工具调用内化为模型原生能力长上下文优化 NTK-aware RoPE、YaRN 等方法用于扩展可处理的上下文；具体长度和质量取决于模型及训练配置。更长窗口能减少截断，但不能代替检索质量与事实核验。二、训练策略层面数据质量提升指令微调数据：过滤低质量指令，引入思维链（CoT）数据增强推理能力知识边界标注：明确标注"已知/未知"样本，训练模型识别知识盲区对齐训练 DPO 与 GRPO 分开理解：DPO…

#百度#对话模型准确性#模型架构优化

面试题·Agent· 字节

多轮对话上下文遗忘怎么解?

匹配口述回答：…型缺乏显式的记忆和状态管理机制。先说上下文遗忘。这个的技术成因其实很直接：标准Transformer的注意力机制，位置编码啊[[RoPE]]这些，距离越远衰减越厉害，所以早期信息天然就容易模糊。再加上推理时[[KV Cache]]长度受限，显存压力会逼你截断历史，导致最早的几轮直接丢了。还有一个问题是注意力稀释，序列太长，关键信息被噪声淹没，softmax输出趋近均匀分布。那怎么解决呢？我倾向的做法是加显式记忆模块。你可以这么理解：把对话分成短期上下文和长期记忆，短期就是…

#字节#Agent#多轮对话上下文遗忘

面试题·评估· 美团

Coding vs GUI vs Search 谁先落地?

匹配口述回答：…规模落地还依赖模型的长上下文能力来处理代码库依赖关系面试官可能会追问长上下文对模型架构和推理成本的具体影响，以及当前主流方案（如RoPE、Sliding Window）的优缺点

#美团#Agent#Agent 能力对比

面试题·RAG· 蚂蚁

时间窗口对话系统：约束与取舍

匹配口述回答：…我会在输入里显式注入时间戳，比如 [2024-01-15 09:23] 用户: ...，让模型感知时间顺序。对于长上下文模型，[[RoPE]] 本身有位置编码，但时间跨度大了之后，位置编码会失效，所以得用一些插值技术，比如 NTK-aware，让模型能处理更长时间跨度的相对位置。再讲业务落地。拿金融客服举例子，用户问“我上周申请的理赔到哪了”，系统如果只靠窗口内上下文，肯定找不到，因为上周的对话早被截断了。这时候就需要 [[RAG]] 增强，向量检索加时间衰减[[重排]]。…

#蚂蚁#时间窗口对话#时间窗口对话系统