匹配正文：归一化在 Transformer 中解决什么 LayerNorm 对每个 token 的 hidden 维度计算均值和方差：LN(x)=γ⊙(x-μ)/sqrt(σ²+ε)+β。标准化部分控制进入注意力和 FFN 的尺度，γ、β 仍允许网络学习合适的缩放和平移，因此不能说每层输出被固定成永久的零均值、单位方差。它不依赖 batch 统计，更适合变长序列、小 batch 和自回归推理；但 Transformer 并非数学上只能使用 LN。放置位置原始 Transformer…

#Layer Normalization#残差连接#梯度消失

面试题·模型架构· 海尔

Transformer归一化方法有哪些?

匹配正文：…是x加Sublayer乘Norm作用于x的结果，也就是x加Sublayer(Norm(x))；Post-Norm是先做残差相加，再归一化，即Norm(x加Sublayer(x))。原始Transformer使用Post-Norm，许多深层模型改用Pre-Norm以改善初始化时的梯度。机制与边界 LayerNorm同时提供重中心化和重缩放不变性，RMSNorm保留重缩放而省去均值计算。两者都常沿每个token的hidden维工作，不依赖batch统计。Post-Norm把归一…

#LayerNorm#RMSNorm#Pre-Norm

面试题·文档处理· 安克科技

RAG向量化流程：预处理到归一化

匹配正文：… 文本预处理策略（分块、清洗、元数据保留） Embedding模型选型依据（中英双语、上下文长度、领域适配）向量生成与批量优化归一化的作用（余弦相似度计算）实际工程中的注意事项（并发、缓存、版本管理）文本预处理核心目标：保留语义完整性，控制块大小文档解析：PDF用PyMuPDF/MinerU，HTML去标签，表格保留结构分块策略：按语义段落切分，并比较多组 chunk size 与 overlap 候选，用同一评测集验证边界召回和成本清洗降噪：去页眉页脚、统一…

第 1 / 5 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#安克科技#RAG 向量化流程#Embedding 模型选择

面试题·模型架构· 美团

Transformer 为何用 Layer Norm?

匹配正文：…及其他被纳入统计的轴计算均值方差，训练依赖当前batch，推理使用运行统计。 LayerNorm对每个token或样本的隐藏维独立归一化，不依赖其他batch样本，训练与推理使用当前样本统计。 Transformer更常用LN/RMSNorm的原因 batch独立：微批大小变化、梯度累积和推理batch变化不会改变LN统计。序列边界清晰：每个token在隐藏维归一化，变长序列与padding不需要混入跨样本统计。BN是否被padding污染取决于布局、统计轴和mask实现，…

#Layer Normalization#Batch Normalization#归一化机制

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…界，并且会受到查询词数量、词频、文档长度和索引语料变化影响。向量相似度常处在另一个范围内，而且不同 Embedding 模型、是否归一化、采用余弦还是内积，也会改变分数分布。假设一个教学示例中，BM25 分数与向量相似度的数值范围不同。把两路原始分数直接等权相加，可能导致其中一路主导结果；这个“权重相同”只存在于公式里，不一定等于实际贡献相同。原始分数相加，权重可能失真 BM25 与向量相似度来自不同机制，加权求和要先解决分数可比性。因此，分数归一化之后才适合动态加权。…

#RAG#检索与重排#RRF

面试题·模型架构· 字节

LLaMA为何选RMSNorm?

匹配正文：…(x^2)+eps)，再乘gamma。 LayerNorm具有重新中心化与重新缩放不变性；RMSNorm舍弃中心化，只保留整体缩放归一化。RMSNorm不会把均值“隐式变成0”，也不能据此宣称它对异常值更鲁棒。效率与稳定性 RMSNorm少一个均值和中心化统计，算子可能更简单，但端到端收益取决于kernel融合、维度、精度和硬件，不能承诺固定加速。两者在Transformer中通常都对每个token的hidden features归一化，不会拿不同token的均值互相污染。…

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 美团

LayerNorm vs BatchNorm 怎么选?

匹配正文：核心判断 Transformer常用LayerNorm，是因为它对单个样本的特征维做归一化，不依赖同一batch里其他样本的统计量，训练和推理计算一致，适合batch大小变化与自回归解码。标准Transformer实现通常对每个token的隐藏维单独做LayerNorm，不会把整句所有token混在一起算均值方差，因此padding不会像跨token BatchNorm那样直接污染该token的LN统计。机制与边界 BatchNorm按batch维估计每个通道的均值方差，并…

#Layer Normalization#Batch Normalization#Transformer

面试题·模型架构· 字节

RMSNorm vs LayerNorm：训练效率怎么比?

匹配正文：…与RoPE“天然正交”。主流模型选择 LLaMA使用Pre-Norm位置的RMSNorm。合理解释是：在保持模型质量的前提下减少归一化统计量并简化实现，而不是“RMSNorm在任何任务都更稳定”。工程选型应比较训练loss、梯度范数、溢出率、吞吐与最终质量。图解 RMSNorm vs LayerNorm：训练效率怎么比?图解

#LayerNorm#RMSNorm#归一化方法

面试题·模型架构· 海尔

Layer Norm 怎么稳定训练?

匹配题目：在Transformer模型中，层归一化（Layer Normalization）被广泛应用于各个子层，请解释其具体作用机制，并讨论它对模型训练稳定性、收敛速度和性能的影响。

#Layer Normalization#Transformer#训练稳定性

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配正文：…el、shape、硬件以及它在全模型中的占比，不能承诺固定百分比。两者通常都逐 token、沿 hidden dimension 归一化，不依赖 batch 统计。训练与选型 RMSNorm 不要求输入预先近似零均值，也不能笼统称为对异常值更鲁棒或数值必然更稳定。LLaMA 等模型采用 pre-normalization 的 RMSNorm，说明它是经过大规模实践验证的架构选择，但不证明它与 RoPE、SwiGLU 天然绑定或对所有任务最优。选型应在相同初始化、学习率、精度…

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 美团

Transformer 为何用 LayerNorm 而非 BatchNorm?

匹配标题与标签：…列建模特性分析模型架构 Layer Normalization Batch Normalization Transformer 归一化方法序列建模 2026真题 Layer Normalization vs Batch Normalization Transformer LayerNorm BatchNorm 批大小依赖大模型架构与原理美团

#Layer Normalization#Batch Normalization#Transformer

面试题·模型架构· 海尔

LayerNorm 如何控制激活尺度?

匹配正文：…活尺度，减少极端 logit 和数值溢出；降低连续残差堆叠对初始化与学习率的敏感性；在 Pre-LN 结构中，残差主干绕过子层归一化，为深层梯度提供较直接路径。这些作用是降低风险，不是保证不会梯度消失/爆炸，也不能由此推出“牺牲表征能力”。若出现不稳定，应联合检查 loss、各层激活/RMS、梯度范数、参数更新比、学习率、精度和异常 batch，不能仅靠一张梯度直方图下结论。多模态边界不同模态的统计和量纲可能不同，可以在各自编码器或投影层使用独立 LN/RMSNor…

#Layer Normalization#梯度稳定#训练收敛

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配正文：…造相对 advantage。与 GRPO 常用逐 token importance ratio 不同，GSPO 对整条序列计算长度归一化的似然比，例如： s_i(theta)=exp((1/|y_i|) * sum_t log(pi_theta(y_it|x,y_i,<t)/pi_old(y_it|x,y_i,<t))) 再在 sequence level 做 clipping，并用同一序列权重更新该序列 token。这样让采样、奖励和优化单元更一致，减少长序列中少数 tok…

#策略优化#离线强化学习#监督学习结合RL

面试题·模型架构· 百度

LayerNorm 前向实现：数值稳定性陷阱

匹配题目：请手动实现Layer Normalization（层归一化）的前向传播过程，要求使用Python和NumPy编写代码，不调用高级框架API，并解释其实现细节和数值稳定性处理方法。

#Layer Normalization#数值稳定性#前向传播

面试题·模型架构· 百度

Flow Matching 原理是什么?

匹配标题与标签：Flow Matching 原理是什么? 生成模型中连续归一化流的核心机制与应用模型架构生成模型连续归一化流扩散模型概率流神经网络ODE 2026真题 Flow Matching 大模型架构与原理百度

#生成模型#连续归一化流#扩散模型

面试题·模型架构· 字节

LayerNorm vs RMSNorm 原理差异?

匹配正文：常见归一化方法的关键差别，是统计量沿哪些维度计算。BatchNorm通常跨batch和空间位置统计每个通道，训练与推理还涉及运行均值；LayerNorm对单个样本或token的指定特征维计算，不依赖batch统计；RMSNorm也沿特征维工作，但只使用平方均值。对向量x，LayerNorm先求均值和方差，用x减均值后除以var加epsilon的平方根，也就是(x-mu)/sqrt(var+epsilon)，再乘逐维gamma并加beta。RMSNorm不减均值，直接用x除以…

#Layer Normalization#RMS Normalization#Batch Normalization

面试题·模型架构· 字节

RMSNorm推理效率更高吗?

匹配正文：… 可比的效果和一定效率收益，这只是经验结果，不证明所有模型、深度、精度和数据上收敛等价。Pre-Norm/Post-Norm 描述归一化相对子层与残差的位置，和选择 LN 或 RMSNorm 是两个维度；RMSNorm 并非数学上必须配合 Pre-Norm。 LLaMA 系列公开架构采用 Pre-Norm RMSNorm。选择原因可从规模稳定性、实现简洁和已有训练配方理解，但不能把相关性写成唯一因果。推理端 norm 往往只占总成本一部分，收益受融合 kernel、hidde…

#LayerNorm#RMSNorm#归一化技术

面试题·RAG· OPPO

搜索评分如何融合点击与停留?

匹配正文：…IPS或EM方法消除位置偏置用户满意度停留时长、跳出率、二次点击停留时长用对数变换：\log(1+dwell\_time) 归一化方法 Min-Max：适用于有明确边界的特征（如BM25分数） Z-Score：适用于近似正态分布的特征 Sigmoid/Percentile：处理长尾分布（如停留时长）融合策略方案A：线性加权（简单场景） Score = w_1 \cdot S_{rel} + w_2 \cdot S_{ctr} + w_3 \cdot S_{dwell…

#OPPO#评分函数归一化#Scoring Function 设计

面试题·检索· 美团

BM25 原理与 TF-IDF 改进点

匹配正文：BM25 的核心思想 BM25 是经典概率相关性排序方法之一，对每个查询词累加 IDF 权重，并用可调的词频饱和与文档长度归一化控制得分。常用形式为： \text{Score}(D,Q)=\sum_{q_i\in Q}\text{IDF}(q_i)\cdot\frac{f(q_i,D)(k_1+1)}{f(q_i,D)+k_1(1-b+b|D|/\text{avgdl})} 实践中常用非负 IDF 变体，例如 \log(1+(N-n_i+0.5)/(n_i+0.5))；具体公…

#美团#BM25#BM25 算法原理

面试题·检索· 美团

BM25公式参数含义与TF-IDF对比

匹配正文：…avgdl)] 其中 f(q,D) 是词频，|D| 与 avgdl 是当前文档和语料平均长度，k1 控制词频饱和速度，b 控制长度归一化强度。IDF 有多种实现；原始概率形式可写为 log((N-n+0.5)/(n+0.5))，也有 log(1+(N-n+0.5)/(n+0.5)) 等非负变体。回答时应说明所用检索引擎的定义，不能把一种实现当成唯一公式。相比基础 TF-IDF BM25 的词频项会饱和，同一词继续出现时边际增益下降；长度归一化由 b 显式控制，而不是对所有…

#美团#BM25#BM25 算法原理

面试题·检索· 美团

BM25 公式与 TF-IDF 对比

匹配正文：BM25核心原理 BM25（Best Match 25）是概率检索框架下的经典算法，核心思想：词频贡献存在饱和效应，文档长度需要归一化。数学公式 score(D,Q) = \sum_{i=1}^{n} IDF(q_i) \cdot \frac{f(q_i,D) \cdot (k_1+1)}{f(q_i,D) + k_1 \cdot (1-b+b\cdot\frac{|D|}{avgdl})} 其中： f(q_i,D)：词项q_i在文档D中的词频 |D|：文档长度，avgdl…

#美团#BM25词频饱和#BM25 公式与 TF-IDF 对比

面试题·检索· 美团

BM25 参数 k1/b 调优

匹配正文：BM25核心原理 BM25（Best Match 25）是概率检索框架下的经典算法，核心思想：词频贡献存在上限，文档长度需要归一化。评分公式 \text{score}(D,Q) = \sum_{i=1}^{n} \text{IDF}(q_i) \cdot \frac{f(q_i,D) \cdot (k_1+1)}{f(q_i,D) + k_1 \cdot (1-b+b\cdot\frac{|D|}{\text{avgdl}})} 三个关键组件： IDF：逆文档频率，惩罚常见…

#美团#BM25长度归一化#BM25 参数 k1/b 调优

面试题·推理优化

Flash Attention 原理怎么理解?

匹配正文：…机制将 Q、K、V 分块，使一个 Q 块依次与 K/V 块在片上计算。用 online softmax 维护每行的运行最大值、归一化因子和输出累积量，不物化完整 N×N 分数/概率矩阵。训练反向时保存少量统计量并重计算局部块，以计算换取辅助显存。计算的主 FLOPs 仍是标准稠密注意力的二次量级。辅助存储可从显式 N×N 矩阵降为随序列线性增长；HBM I/O 的理论复杂度还依 head dimension 与片上存储容量，不能笼统写成 O(N²) 到 O(N)。训…

#Flash Attention#内存优化#注意力机制

求职指南·RAG

混合检索、RRF 与重排项目模拟面试

匹配正文：…套学习：BM25 vs 向量检索 vs 混合检索怎么选?。 4. tradeoff · tradeoff 为什么选 RRF 而不是归一化加权？RRF 常数、各路 top-k 和重排深度如何确定？考察重点：验证选型来自真实约束和对比，而不是技术名词堆砌。至少两个候选方案、真实约束与放弃原因质量、时延、开发和维护成本下一步：metrics。配套学习：RAG检索质量提升5法、RAG 为什么需要 Rerank?。 5. metrics · metrics 召回改善用 Rec…

#模拟面试#简历项目#连续追问