匹配口述回答：【30秒速答】位置编码让 Transformer 区分顺序和距离。可学习绝对位置是查表，正弦位置可按公式计算，relative 方法直接编码距离，RoPE 旋转 Q/K 让点积带相对位移，ALiBi 在 attention logit 上加距离偏置。要特别区分“能算到更长位置”和“模型能可靠使用更长上下文”。正弦编码与原生 RoPE 都不保证训练长度外无损工作，扩窗通常需要位置插值、频率缩放、继续训练，并用困惑度、长文检索、多跳和真实生成验证。【90秒主答】全局 sel…

#位置编码#Transformer#自注意力机制

面试题·模型架构· 海尔

LayerNorm 如何控制激活尺度?

匹配题目：在Transformer模型中，层归一化（Layer Normalization）被广泛使用，请解释其作用机制，以及它如何缓解训练过程中的梯度不稳定问题并促进模型收敛。

#Layer Normalization#梯度稳定#训练收敛

面试题·模型训练· 得物

LoRA 有哪些局限性?

匹配正文：… modules中，最优配置对模型和任务敏感。复杂任务不等于真实更新必然高秩，只有消融才能判断容量是否不足。 Adapter通常在Transformer层中插入带瓶颈的可训练模块，引入额外前向层和非线性；它便于模块化组合，但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。 IA3学习少量乘性向量，对注意力和前馈中的激活进行缩放，参数形式与LoRA不同。它可能非常节省参数，但没有普遍证据说明训练一定更稳定或所有任务质量…

← 上一页第 2 / 2 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#LoRA#参数高效微调#Adapter

面试题·模型架构· 百度

LayerNorm 前向实现：数值稳定性陷阱

匹配追问：LayerNorm和BatchNorm的区别是什么，为什么Transformer用LayerNorm 如果输入序列长度很长，LayerNorm的计算有什么优化空间手写反向传播的梯度计算场景切入假设输入张量形状为 [batch, seq, hidden]，请不用深度学习框架 API，用 NumPy 写一个支持 normalized_shape、eps 和可学习仿射参数的 LayerNorm forward。层层追问 LayerNorm 沿哪些轴计算统计量？……方差怎样稳…

#Layer Normalization#数值稳定性#前向传播

面试题·模型架构· 海尔

Self-Attention 怎么计算 QKV?

匹配追问：为什么除以√d_k而不是d_k或其他值？ Self-Attention的时间复杂度和空间复杂度是多少？如何优化？多头注意力中"多头"的设计动机是什么，各头学到什么不同？场景切入假设你在做一个电商搜索的排序模型，用户搜'苹果手机'，你希望模型能自动关注商品标题里的'苹果'和'手机'这两个词，同时忽略'原装正品'这种修饰。这种token之间的关联度，底层是怎么算出来的？层层追问 Transformer里每个token是怎么跟其他token交互的？……那它怎么知道该关注谁？…

#Self-Attention#Transformer#注意力机制

面试题·模型架构· 字节

Multi-Head Attention 维度变化

匹配标题与标签：Multi-Head Attention 维度变化手动实现 QKV 变换、缩放点积、多头拼接及输出投影模型架构多头注意力 Transformer 注意力机制 PyTorch 张量操作 2026真题 Multi-Head Attention 实现缩放点积注意力多头注意力维度变化大模型架构与原理字节

#多头注意力#Transformer#注意力机制

面试题·模型架构· 京东

位置编码怎么选? RoPE vs ALiBi

匹配追问：RoPE的外推性优化有哪些改进方案（如NTK-aware、YaRN）为什么LLaMA选择RoPE而ChatGLM早期用ALiBi 长文本场景下位置编码如何影响 perplexity 场景切入我们有个搜索推荐场景，文档库长度会动态变化，比如从几千跳到几万。你负责给Transformer加位置编码，怎么保证模型在长序列上还能正常推理？层层追问 Transformer怎么知道token顺序的？……那如果训练时最大长度512，线上来了1024的序列，位置编码能直接工作吗？……你…

#位置编码#RoPE#相对位置编码

面试题·RLHF与对齐· 美团

Long Horizon 训练环境怎么搭?

匹配正文：…境的四层设计 1. 状态与观测定义真实状态、Agent 可见观测、动作、终止与截断条件。部分可观测时，允许策略使用历史、RNN/Transformer memory 或 belief state；记录随机种子与环境版本。 2. 奖励与信用分配先保留与最终任务一致的终局奖励，再谨慎加入势函数式 shaping 或可验证里程碑。提高近期奖励权重会改变优化目标，不能当作长期信用的标准修复。可按任务选择 n-step return、GAE、层级价值、return decompos…

#Long Horizon RL#奖励塑形#课程学习

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：…li 延迟交互+视觉token级编码端到端，无需OCR，适合文档理解 Qwen-VL-RAG 统一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构差异 Embedding层方案A：冻结视觉编码器（CLIP/SigLIP）+ 投影对齐方案B：端到端训练（如ColPali的ViT+Transformer）检索策略早期融合：图文拼接后统一编码晚期融合：分别检索后加权融合 4. 适用场景 …

#淘天#多模态#多模态 RAG 架构设计

面试题·RAG· 淘天

RAG 模型分类有哪些?

匹配正文：…依赖索引质量显著提升最高灵活性无有限高度可编排运维成本低中高选型建议：从Naive快速验证→Advanced优化体验→Modular解决复杂任务，避免过度设计。学习建议建议先掌握向量运算和概率基础，再结合Transformer论文理解Attention的计算流程与意义。

#淘天#RAG架构分类#RAG 分类

面试题·RAG· 小红书

用户兴趣模型：数据与特征取舍

匹配正文：…Item塔）：用户兴趣向量实时更新，Item向量天级更新多路召回：兴趣标签召回、协同过滤、图神经网络（社交关系）精排层多目标优化：点击+互动+关注+时长，用MMoE或PLE结构序列建模：DIN/Transformer捕捉短期兴趣，长期兴趣用记忆网络冷启动策略新用户：基于相似人群（Lookalike）+ 热门兜底新内容：内容理解模型（图文多模态）预打标签，快速匹配潜在人群四、模型更新策略模块更新频率机制实时兴趣向量分钟级 Flink流式处理用户行为，增…

#小红书#用户兴趣建模#用户兴趣模型

面试题·检索· 字节

RAG 中 Re-ranking 怎么用?

匹配标题与标签：RAG 中 Re-ranking 怎么用? 重排模型在检索流程中的作用与常用模型盘点检索字节重排与优化 RAG Re-ranking 重排模型作用检索流程重排字节

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

两阶段检索 vs 直接重排?

匹配正文：…用复杂交互计算最终相关性重排序模型（如BERT-based Cross-Encoder）需要query和document拼接后过Transformer，计算复杂度O(n)，无法承受直接扫描百万级文档的延迟和成本。架构优缺点优点效率可控：召回阶段毫秒级响应，重排阶段只处理小候选集精度可扩展：重排序能捕捉细粒度语义交互（如query词与doc的精确匹配）灵活解耦：可独立优化召回策略（换embedding模型）或重排策略（换reranker）缺点误差累积：召回漏掉的…

#字节#两阶段检索#RAG 重排序

面试题·模型架构· 高德

参数规模怎么影响大模型?

匹配口述回答：…量增加，但不能推出“越大一定越好”或“越大一定过拟合”。LLM 的结果要同时看参数量、训练 token、数据质量、计算预算、架构和优化。拿参数数直接与 token 数比较也不可靠，因为 token 不是独立样本，模型参数在所有位置和样本之间共享。原来用 GPT-3 的参数与 token 数证明参数远多于样本，本身也不成立。从学习能力看，更大模型可以表示更复杂的模式，并且在数据和计算充分时，训练 loss 和迁移能力往往改善。但如果 token 不够、数据重复或噪声高，新增参…

#缩放定律(Scaling Laws)#过参数化#双下降现象

面试题·模型架构· 字节

Few-shot 推理为何有效?

匹配口述回答：…是研究问题。任务识别假说认为，模型从示例中认出一个预训练阶段已经学过或接近的任务。隐式学习算法的工作发现，在某些受控构造和模型中，Transformer前向计算可以实现类似线性回归或梯度下降的更新规则。还有贝叶斯式解释，把任务看成潜变量，根据上下文示例更新对任务的后验判断。这些解释可能在不同模型和任务里同时发挥作用，不能直接宣布某一个已经成为定论。尤其不能把attention权重随输入变化，等同为模型参数被更新。ICL推理期间，模型权重没有通过优化器改变；改变的是当前上下文…

#上下文学习#预训练目标#隐式梯度下降

面试题·模型架构· 字节

RMSNorm推理效率更高吗?

匹配口述回答：…，再乘可学习 scale。两者都不依赖 batch 统计，适合变长序列和自回归模型。RMSNorm 少了均值归约与中心化，但完整 Transformer 的主要计算通常在矩阵乘和注意力，norm kernel 还可能与邻近操作融合，因此从公式少一个统计量不能推出端到端速度翻倍。稳定性方面，归一化控制进入 attention 与 FFN 的尺度，降低深层残差堆叠对初始化和学习率的敏感性。RMSNorm 不保留显式的重中心化不变性，但论文在若干机器翻译和语言建模任务中观察到可比…

#LayerNorm#RMSNorm#归一化技术

面试题·RAG· 小红书

生成式与判别式推荐选型

匹配口述回答：…的：首先有个ID [[Tokenizer]]，把商品ID映射成语义token，比如基于内容做哈希，让相似商品有相近的编码。然后一个Transformer Decoder，比如GPT那种结构，把用户历史序列编码并建模依赖。最后用Beam Search或Top-p采样，一步步生成下一个token，直到输出完整的商品ID。这个流程和文本生成几乎一样，所以很多技术可以直接迁移过来。但是落地风险很大，我特别关注三个。先说ID空间爆炸。淘宝有几亿个商品，如果每个商品一个token，词表…

#小红书#生成式与判别式推荐#生成式与判别式推荐选型