匹配正文：…远循环。不同入库失败应该怎样恢复临时错误可以有限重试，数据错误需要修复，已成功项保持原状态。相同稳定 ID 让补跑只补缺口。 Embedding 也可能部分失败。系统应记录 Chunk 当前处于待向量化、向量完成、待写入、已写入还是失败状态。补跑时从未完成步骤继续，而不是重新解析和计算所有内容。如果 Embedding 模型升级，旧向量不能直接与新模型输出混用。缓存键和记录里要带模型版本，这属于模型迁移，不应被普通重复上传逻辑静默跳过。失败恢复还要区分“请求是否超时…

#RAG#切分与索引#RAG 增量入库

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…dense × dense_score(d) 其中 sparse_score 可以来自 BM25，dense_score 可以来自向量相似度，两个权重通常满足和为一。这个公式看起来简单，真正困难的是两个前提。前提一：两路分数必须可比较 BM25 分数通常没有固定上界，并且会受到查询词数量、词频、文档长度和索引语料变化影响。向量相似度常处在另一个范围内，而且不同 Embedding 模型、是否归一化、采用余弦还是内积，也会改变分数分布。假设一个教学示例中，BM25 分数与…

#RAG#检索与重排#RRF

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

…不知道“这个”指什么就无法检索。第二句包含两种可能出现在文档里的表达，系统需要覆盖不同措辞。第三句只有一个抽象概念，信息太少，向量很容易飘到一堆相近主题。这三类问题都可能被笼统地归入“Query 优化”，但适合的处理方法并不一样。如果不分类型，每个问题都先交给大模型改写，不仅多一次调用，还可能把原本清楚的编号、否定和限制条件改错。重写、扩写和 HyDE 分别解决什么？ Query 重写追求的是“把问题说完整”。用户问“这个怎么申请”，系统要结合有限的对话历史，把它…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：

#RAG#检索与重排#RAG Query 重写

面试题·Agent

Agent 短任务和长任务怎么记？工作记忆、长期记忆与任务状态怎样分层

匹配正文：面试官可能会问：“Agent 做一个十分钟任务和跨多天任务，记忆设计有什么不同？是不是把所有消息都存进向量库就行？” 这道题最容易把三个概念混在一起：上下文、任务状态和长期记忆。上下文是当前这次模型调用能看到的内容；任务状态记录同一次执行进行到哪里；长期记忆保存跨会话仍有价值的事实、偏好或经验。它们都让系统“记得”，但生命周期、存储方式、读取策略和安全边界不同。短任务通常重视当前目标、最近对话、计划和工具结果，重点是选择哪些信息进入有限上下文。长任务除了工作记忆，还要持久化…

#Agent#记忆与存储#Agent 长期记忆设计

面试题·模型架构· 字节

RMSNorm vs LayerNorm：训练效率怎么比?

匹配正文：…对整体平移具有再中心化不变性，RMSNorm则会保留均值分量。逐维 gamma 还会改变各维尺度，因此不能说RMSNorm严格保持向量方向或与RoPE“天然正交”。主流模型选择 LLaMA使用Pre-Norm位置的RMSNorm。合理解释是：在保持模型质量的前提下减少归一化统计量并简化实现，而不是“RMSNorm在任何任务都更稳定”。工程选型应比较训练loss、梯度范数、溢出率、吞吐与最终质量。图解 RMSNorm vs LayerNorm：训练效率怎么比?图解

#LayerNorm#RMSNorm#归一化方法

面试题·模型训练· 海尔

LoRA 低秩分解 vs 全量微调怎么选?

匹配正文：…。参数量必须按实际模块尺寸计算，不能只用隐藏维乘rank漏掉两个矩阵，也不能忽略Q、V两个投影和全部层。若同时训练K、O、MLP或embedding，数量会继续增加。 LoRA不保证任何任务都等价于全参微调。rank过小、目标模块选错、领域偏移很大或数据复杂时会有容量瓶颈；rank提高会增加参数和显存，却不一定单调提高泛化。风格迁移并非LoRA天然不适用，事实上许多生成和语言适配都能学习风格；是否适合要看基座是否已有相关能力、样本覆盖、是否还需新增知识以及质量评测。多适配器服…

#LoRA#参数高效微调#低秩分解

面试题·模型架构· 海尔

Encoder vs Decoder 功能区别?

匹配口述回答：…负载。 Encoder同样需要padding mask，必要时还会有任务mask；它只是通常没有目标侧因果mask。早期RNN序列模型有时把源句压到最后状态，现代attention架构则保留序列memory，不能把旧式固定向量概括成所有encoder。若源序列会被多个目标请求复用，还可以缓存encoder memory，但要绑定模型版本、输入哈希和mask，避免错误复用。先区分三种完整架构说明encoder输出形状用机器翻译解释cross-attention 区分训练…

#Seq2Seq#Encoder-Decoder#Transformer

面试题·模型架构· 海尔

Layer Norm 怎么稳定训练?

匹配正文：LayerNorm 的机制对单个 token 的隐藏向量 x∈R^d，LayerNorm 计算 hidden 维均值与方差，再做 y=γ⊙(x-μ)/sqrt(σ²+ε)+β。它不使用 batch 统计，因此训练和推理的统计口径一致，也适合变长序列。γ、β 可学习，所以最终输出并未被固定为零均值、单位方差。对训练的实际影响数值尺度：限制送入 attention/FFN 的幅度漂移，降低激活或梯度极端放大的风险；优化条件：减少网络对初始化和学习率的敏感性，但不保证固定倍…

#Layer Normalization#Transformer#训练稳定性

面试题·项目与经历· OPPO

ML项目流程：特征工程到评估

匹配正文：…署：离线指标、切片、置信区间、延迟、成本【】；线上若有则说明流量、观察窗口和回滚。复盘：错误样本、数据漂移、监控和下一步【】。模型链路必须来自候选人的实际系统。候选生成可以是规则、向量检索、协同过滤或学习模型，排序可以是树模型、深度模型或其他方法。方法名不决定流水线位置，目标函数、特征可用性、延迟与部署约束才决定。

#特征工程#模型选型#超参数调优

面试题·模型训练· 美团

合成数据怎么系统构建?

匹配正文：…old和成对人评。多个模型给出相同答案只能作为弱信号，因为它们可能共享训练数据、知识盲点和表达捷径。困惑度可以反映文本在某个语言模型下的可预测程度，却不是通用质量分数。低困惑度可能只是模板重复，高困惑度也可能来自专业术语。它可以用于异常筛选，但不能代替事实、相关性与任务正确性。强模型打分同样要用人工gold校准。分布治理要保留真实数据锚点，并按来源、意图、难度、长度和语言检查覆盖。只按embedding分散也不保证业务多样性，还要限制单种子与单模板贡献，做近重复和基准污染…

#数据合成#Self-Instruct#指令微调

面试题·模型架构· 百度

VQ-VAE 码本塌缩治理

匹配正文：核心判断 VQ-VAE由编码器、离散码本、向量量化器和解码器组成。编码器产生连续表示，对每个位置选最近的码本向量，再由解码器重建输入。离散选择不可导，经典方法用straight-through estimator把重建梯度传给编码器，并配码本更新与commitment loss。离散code只是模型学到的索引，不天然对应人可解释概念，也可能出现大量code闲置的码本塌缩。机制与边界相比普通VAE的连续随机变量，VQ-VAE让潜变量取有限码本中的向量，并学习一个先验来生成c…

#VQ-VAE#变分自编码器#离散隐空间

面试题·模型架构· 字节

判别式转生成式有哪些方法？

匹配正文：…e prompting：对BERT类masked LM设计含[MASK]的模板，并以verbalizer词表示类别；GPT类自回归模型没有同样的[MASK]预测接口。直接文本生成：把类别、匹配结果或结构化字段写成目标字符串，标签可以是ID、代码或自然语言，只要tokenizer和约束允许。 In-context learning：在推理上下文中放任务说明和示例，不做梯度更新。 Soft prompt/prefix tuning：训练连续提示向量，模型主体可冻结，但提示参数需…

#生成式建模#判别式转生成式#Prompt工程

面试题·模型架构· 海尔

Encoder vs Decoder 核心区别?

匹配正文：…n 下一个token分布 Encoder输出通常是随源长度变化的一组token表示 [B,L_src,D]，不是单个固定长度上下文向量。它不使用因果mask，但通常需要padding mask或其他任务mask，不能说“无mask”。在机器翻译中，encoder读取完整源句并产生encoder memory。decoder在每一步只能通过因果self-attention看到已生成的目标前缀，同时通过cross-attention读取整段源序列表示，最终预测下一个目标toke…

#Transformer#Encoder-Decoder架构#自注意力机制

面试题·模型架构· 海尔

LayerNorm 如何控制激活尺度?

匹配口述回答：…erNorm 把分布变稳定，所以梯度不爆炸”，但更准确的回答要讲清统计轴和残差路径。LayerNorm 对单个 token 的隐藏向量，在特征维度上算均值和方差，然后标准化，再乘可学习 gamma、加 beta。它不依赖同一 batch 的其他样本，也不要求这些隐藏特征彼此独立同分布。所谓零均值、单位方差，只是 affine 之前的中间结果，最终输出的尺度可以被 gamma 和 beta 学回来。它帮助训练稳定，第一是控制进入注意力和前馈层的数值尺度。深层残差网络如果每层都…

#Layer Normalization#梯度稳定#训练收敛

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：…投影、加入输出投影或FFN，会产生不同容量和成本。不同层也可能需要不同预算，AdaLoRA等方法尝试自适应分配。是否解冻norm、embedding或lm head同样是实验变量，不能按深层更重要的口号直接决定。若使用QLoRA，还要把量化误差、计算dtype、量化范围和普通LoRA区分开。QLoRA并不推出需要更大rank；模型能否恢复质量取决于基座、任务和目标模块。训练不稳时检查学习率、梯度、序列长度和数据，而不是用rank补偿所有问题。最终会同时比较prompt基线…

#LoRA#参数高效微调#故障排查

面试题·模型训练· 得物

LoRA 有哪些局限性?

匹配正文：…示权重增量。它的优势是可训练参数少、适配器易保存和切换；局限是更新被约束在选定rank与target modules中，最优配置对模型和任务敏感。复杂任务不等于真实更新必然高秩，只有消融才能判断容量是否不足。 Adapter通常在Transformer层中插入带瓶颈的可训练模块，引入额外前向层和非线性；它便于模块化组合，但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。 IA3学习少量乘性向量，对注意力和前馈中的激活…

#LoRA#参数高效微调#Adapter

面试题·模型训练· 字节

MSE vs 交叉熵损失怎么选?

匹配正文：…是“从不衰减”，正确且高置信样本的梯度本来就会趋近零；关键是自信错误时不会像 MSE 那样再额外乘一个饱和的 p(1-p)。语言模型的下一个 token 是词表上的离散类别，交叉熵等价于最大化观测 token 的条件对数似然，能够直接训练完整类别分布。把 one-hot token 当连续向量做 MSE 会引入不合适的几何和饱和梯度。蒸馏可使用软目标交叉熵或 KL，回归价值、embedding 或连续属性时仍可使用 MSE。图解 MSE vs 交叉熵损失怎么选?图解

#损失函数#交叉熵#MSE

面试题·模型架构· 字节

自回归生成用 token id 还是概率分布?

匹配正文：标准自回归解码使用离散token 在第i步，模型输出词表logits，经softmax得到分布。解码器按贪婪、采样、top-k、top-p或Beam Search选出一个或若干候选token id。对单条生成路径，第i+1步通常把已选id查embedding后作为新输入，并缓存该路径对应的K/V。训练时teacher forcing通常输入真实前缀token；推理输入模型自己选出的token。Exposure bias来自这两种前缀分布的差异，不是来自token离散化。能…

#自回归生成#softmax采样#梯度传播

面试题·多模态· 快手

视频切帧优化：语义+动态采样

匹配正文：…下的覆盖与相关性选择可采用分层流程：先按时间均匀采样建立覆盖基线，保留开头、结尾与最小时间密度。用镜头边界、感知哈希、视觉 embedding 距离或光流去除近重复，并在快速运动、场景切换和字幕变化处提高采样率。根据用户问题或任务，用 CLIP/SigLIP 等跨模态相似度评估语义相关性，同时加入时间覆盖和多样性，防止只选同一镜头。使用两阶段模型反馈：低成本预览后，让模型指出证据不足的时间区间，再局部追加帧；设置总帧数、轮次和延迟上限。若端到端训练选择器，可使用可…

#视频理解#时序采样#多模态预训练

面试题·多模态· 百度

MoE 专家网络怎么动态路由?

匹配正文：…_t 或 log-SNR 编码后送入 gate。log-SNR能统一表达不同噪声参数化，但三者选一个定义清楚即可。共享特征：如果模型先经过共享 trunk，可以对中间激活池化后参与路由；这属于可学习内容路由，效果必须用消融实验验证。多模态条件：文本或图像条件向量可以作为辅助输入，但“CLIP范数越大=语义越复杂”不是成立的通用规则。两种实现方案做法边界硬路由按 t 或 log-SNR 区间只启用一个专家计算清晰，但阈值附近可能不连续软路由 gate输出权重…

#扩散模型#MoE#噪声调度

面试题·模型架构· 美团

Transformer 架构核心组件原理

匹配正文：原始Transformer：encoder-decoder 输入token embedding与位置编码相加后进入N层encoder。每层包含multi-head self-attention和逐位置FFN；每个子层外有残差、dropout和LayerNorm。原始论文使用Post-LN： LayerNorm(x + Sublayer(x)) 不是现代Pre-LN的 x + Sublayer(LN(x))。 Decoder每层依次包含masked self-attention…

#Transformer#自注意力机制#位置编码

面试题·模型架构· 安克科技

GPT vs BERT 核心区别在哪?

匹配正文：…开箱即用的 faithfulness 或事实核验器；只有在 NLI、事实一致性或特定判别数据上训练，并经过域内校准后，BERT 类模型才可承担相应分类环节。选型看输出形式和成本：需要逐 token 生成与上下文学习时选生成模型；需要低延迟固定标签、向量编码或 token 标注时，encoder-only 往往更经济。两者都可通过微调扩展任务，不能用“GPT 只会生成、BERT 只会分类”作绝对边界。图解 GPT vs BERT 核心区别在哪?图解

#自回归模型#自编码模型#Transformer

面试题·模型架构· 百度

Flow Matching 原理是什么?

匹配正文：…易采样的基分布 p_0 经流映射到数据分布 p_1。训练一个速度场 v_θ(t,x)，回归某条预先选定概率路径 p_t 对应的目标向量场：L_FM=E_{t,x_t~p_t}||v_θ(t,x_t)-u_t(x_t)||²。直接计算边缘向量场可能困难，Conditional Flow Matching 先采样数据端点及条件路径上的 x_t，回归可计算的条件向量场；在相应条件下，它与边缘 Flow Matching 目标具有相同的期望梯度。训练时不需要每个 batch 都数值…

#生成模型#连续归一化流#扩散模型

面试题·模型架构· 字节

LayerNorm vs RMSNorm 原理差异?

匹配正文：…ayerNorm对单个样本或token的指定特征维计算，不依赖batch统计；RMSNorm也沿特征维工作，但只使用平方均值。对向量x，LayerNorm先求均值和方差，用x减均值后除以var加epsilon的平方根，也就是(x-mu)/sqrt(var+epsilon)，再乘逐维gamma并加beta。RMSNorm不减均值，直接用x除以mean(x平方)加epsilon的平方根，再乘gamma。RMSNorm舍弃的是re-centering，保留与整体缩放相关的归一化；…

#Layer Normalization#RMS Normalization#Batch Normalization