匹配正文：大模型八股不该盲背。每个方向面试官真正想验证的东西是固定的:RAG 验证你懂不懂检索链路的取舍,Agent 验证你能不能让多步流程稳定跑,评估验证你怎么证明"效果好"。你按"这个方向想验证什么 → 先看哪个教程/项目 → 代表题型 → 项目里怎么体现"这套结构去准备,比刷一百道零散题有效得多。这一篇是按方向的考点地图,帮你搭准备框架;逐题答案和口语讲法在题库里刷。作者:吴师兄 | 适合:准备大模型面试、想按方向系统过考点的人 | 前置:看过技术栈全景、选好了主线方向本篇和…

#求职#职业转型

面试题·RAG

多轮 RAG 如何理解“这个怎么申请”？

匹配正文：…品资料，记忆提供会话里已经确认的对象、用户补充的条件和前文主题。两者都可以进入生成上下文，但职责不同。知识库事实与对话记忆的职责区别知识库回答“外部资料怎么规定”，记忆回答“我们刚才在谈什么、用户已经提供了什么”。如果把用户说过的话直接当成知识库事实，用户一句错误陈述就可能污染答案。反过来，如果完全忽略记忆，系统每一轮都像第一次见面，追问就无法成立。一次多轮检索应该怎样走？完整链路可以拆成六步。第一步，加载当前会话中最近的相关历史和已有摘要。第二步，判断当前问题…

#RAG#生成与对话#多轮 RAG

面试题·Agent

多 Agent 怎么编排？固定流水线和 Supervisor 监督模式怎么选

匹配正文：…条件后回到固定图。如果只是按字段路由，例如 language=python 选择 Python 工具，直接用代码条件边，不需要 LLM Supervisor。如果路由依赖语义且规则难以枚举，再使用模型并保留兜底。如果任务高风险且下一步必须经过人工批准，Supervisor 只能提出建议，Human-in-the-loop 节点拥有放行权。固定流水线、动态监督与混合模式混合模式把开放探索限制在可控子图内。共享 State 应该保存什么多个 Agent 不能靠互相发送…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Agent#多智能体与评估#多 Agent 编排模式

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…构建？为什么只准备问题和参考答案仍然不够？Recall@K、MRR 和 Faithfulness 又分别在评估哪一层？只回答“让大模型生成一批 QA，再算准确率”，通常会暴露更多问题：自动生成的问题是不是只会复述原文？没有正确证据位置，怎么评估检索？最终答案错了，怎么知道该修检索还是生成？参数一直对着同一批题调，会不会把系统调到过拟合？一条评测样本到底要保存什么？最小结构不是“问题加答案”，而是“问题、答案、证据”。问题要尽量接近真实用户表达，而不是照着文档标…

#RAG#评测与上线#RAG 评测集

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…“这次改动主要改善哪一层，哪些题型收益明显，哪些维度退化，额外成本是什么，是否通过既定门槛。”它比“总分提升”更能支撑工程决策。 LLM-as-a-judge 为什么也要被评测开放答案很难完全靠字符串匹配，可以让另一个大模型辅助判断正确性、相关性或 Faithfulness。但自动裁判会受评审 Prompt、证据长度、领域表达和模型版本影响，它的分数不是天然真值。一套可以落地的裁判校准流程先用一批人工金标样本校准，覆盖正确、部分正确、证据不足、答案外事实和引用错位。固定…

#RAG#评测与上线#RAG 评估指标

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：用户点下发送以后，页面空了很久，随后答案一口气开始出现。遇到这种现象，一种常见判断是大模型太慢，需要换一个更快的模型。但一条 RAG 请求在模型生成第一个字之前，已经经过 Query 处理、Query Embedding、关键词与向量检索、候选融合、Rerank 和上下文构建。真正的等待可能发生在其中任何一段。从调用依赖关系看，模型要等检索证据准备好，才能开始基于证据生成。因此，如果向量检索阶段很慢，流式输出只能改变第一个 Token 之后的展示，不能缩短前面的检索等待…

#RAG#评测与上线#RAG 首字响应

面试题·模型训练· OPPO

二分类交叉熵损失函数怎么推导?

匹配标题与标签：…设计动机模型训练交叉熵损失逻辑回归极大似然估计凸优化信息论 2026真题二分类交叉熵逻辑回归损失函数交叉熵推导大模型训练与微调 OPPO

#交叉熵损失#逻辑回归#极大似然估计

面试题·模型架构· 海尔

Layer Norm 怎么稳定训练?

匹配正文：…orm 还受深度、残差缩放、初始化和训练预算影响。 LayerNorm 不能让 warmup 自动变得不需要。许多 Pre-LN 大模型仍使用 warmup；是否需要、需要多久应由早期 loss、梯度/更新范数和数值溢出来决定。也不能用“训练快 2–10 倍”“深层模型必备”“GPT 系列全部如此”等无版本、无对照数字。如何比较固定数据、参数量、初始化、优化器和 token 预算，对比可稳定使用的学习率、早期发散率、训练/验证 loss、梯度与激活范数、吞吐以及最终任务质…

#Layer Normalization#Transformer#训练稳定性

面试题·模型训练· 美团

训练曲线异常怎么排查？

匹配追问：…的loss曲线应该如何解读？训练大模型时，你通常如何设置early stopping的监控指标？场景切入假设你在训练一个客服大模型，跑到一半看loss曲线像过山车一样上下乱跳，你第一反应是啥？会怎么调？层层追问训练大模型的时候你一般看哪些曲线？……比如loss一直降不下去，或者grad norm突然飙到几百，你一般怎么排查？……能具体说说震荡和过早饱和的区别吗？直球架构给我讲讲训练曲线里loss、lr、grad norm每种曲线的正常形态和常见异常，以及对应的可…

#训练监控#学习率调度#梯度裁剪

面试题·模型架构· 美团

MoE 怎么提升 Agent 能力?

匹配正文：先区分两种“专家” 1. 模型内部的稀疏MoE 在Agent使用的LLM内部，router按token选择少量FFN专家。它可以在总参数较大时控制每token激活FLOPs，但端到端收益还受all-to-all通信、负载不均、batch与硬件影响。专家是由训练目标共同学出的子网络，不保证自然对应“金融、代码、API”等人类可命名领域。对Agent的价值是：多轮规划、工具调用和反思会多次调用模型，若MoE后端在目标硬件上有更好的质量/成本曲线，总调用成本可能下降。但稀疏FLO…

#MoE#Agent#动态路由

面试题·模型架构· 字节

格式化输出 vs 思维链，怎么选？

匹配口述回答：…长度影响。可以限制每类为单token verbalizer，或按token数归一化并做校准；最终仍要在独立验证集检查可靠性，不能把语言模型原始概率直接当成业务置信度。先说明为何转成生成接口比较直接生成与PET 介绍text-to-text和指令方式限定CoT与Self-Consistency场景给出公平评测口径约4分钟 PET的verbalizer概率评分与自由生成标签有什么本质区别。可继续讨论模板偏差、标签tokenization、概率校准和多模板集成。

#生成式建模#判别式任务转化#Prompt工程

面试题·模型架构· 美团

Transformer 为何用 LayerNorm 而非 BatchNorm?

匹配追问：…LayerNorm有什么优势，为什么现在大模型更常用 BN在CV中效果很好，为什么NLP场景不适用场景切入假设你在做电商平台的大模型客服，用户发来的消息长度差异很大，有的是一句话，有的是长段落，而且训练时batch size只能设很小。你模型里用的是LayerNorm还是BatchNorm？为什么选这个？层层追问大模型里常用的归一化方式你了解哪些？……那BN和LN主要区别在哪？……为什么Transformer普遍用LN而不是BN？直球架构解释一下为什么Transf…

#Layer Normalization#Batch Normalization#Transformer

面试题·模型架构· 海尔

Transformer归一化方法有哪些?

匹配标题与标签：…真题 LayerNorm vs RMSNorm Transformer 归一化 LayerNorm 优缺点 RMSNorm 原理大模型架构与原理海尔

#LayerNorm#RMSNorm#Pre-Norm

面试题·模型架构· 海尔

LayerNorm 如何控制激活尺度?

匹配标题与标签：…架构 2026真题 LayerNorm 激活尺度控制 Transformer 激活稳定性残差梯度路径 LayerNorm 机制大模型架构与原理海尔

#Layer Normalization#梯度稳定#训练收敛

面试题·模型架构· 字节

Few-shot 推理为何有效?

匹配口述回答：few-shot有效的第一层解释，是它和自回归预训练的接口一致。语言模型训练的是给定前缀预测下一个token。推理时把任务说明、若干输入输出示例和新输入都放进前缀，模型就能利用这些额外条件，调整后续答案的概率分布。示例可能提供任务类别、输出格式、标签含义和输入到输出的映射，所以经常比只给一句指令信息更充分。但我不会说few-shot一定提升。示例如果和查询无关、格式冲突、顺序造成偏置，或者占用太多上下文挤掉关键输入，效果都可能下降。模型规模、预训练数据中是否出现过类似任务结…

#上下文学习#预训练目标#隐式梯度下降

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配题目：在监督微调（SFT）大模型的过程中，如何通过训练指标和验证指标判断模型是否出现过拟合现象？有哪些有效的缓解策略？

#过拟合识别#训练监控#正则化策略

面试题·RLHF与对齐· 美团

环境训练 vs 监督学习怎么选?

匹配正文：核心判断基于环境的训练指策略通过执行动作获得新的观测、回报与终止信号，再利用这些交互数据改进决策。它与纯监督学习的区别在于数据分布会受策略影响，动作还可能改变后续状态。这个概念不能直接等同 RLHF，也不能把离线模型说成上线必然崩。需要分清行为克隆、离线强化学习、在线强化学习、上下文 bandit 与偏好对齐，它们的数据和反事实假设不同。机制与边界行为克隆从固定的状态动作示范学习条件分布，不显式优化长期回报，容易在自己诱发的未见状态上累积误差。离线强化学习也只使用历史数…

#环境交互#在线学习#探索与利用

面试题·模型训练· 阿里

SFT 硬件资源怎么配?

匹配题目：在进行大模型监督微调（SFT）时，典型的硬件资源配置是怎样的？例如需要多少张GPU卡、多少台机器，影响资源需求的主要因素有哪些？

#SFT#分布式训练#GPU显存计算

面试题·模型训练· 字节

SFT 复读机问题怎么解?

匹配标题与标签：SFT 复读机问题怎么解? 成因分析:重复样本如何加剧,从优化与数据分布角度模型训练监督微调复读机问题训练数据语言模型退化数据去重 2026真题 SFT 复读机问题监督微调重复样本 SFT 训练数据分布大模型训练与微调字节

#监督微调#复读机问题#训练数据

面试题·多模态· 小红书

主流生成式模型有哪些?

匹配正文：…例；LlamaGen不是Meta项目。 LoRA主要减少适配参数，不天然降低扩散采样步数或推理时延；U-Net扩散也不能无条件套用LLM式KV cache。选型应按质量、可控性、单次延迟、吞吐、训练稳定性和公开证据比较。

#生成模型#GAN#VAE

面试题·模型训练· 百度

Flow Matching 线性目标速度

匹配标题与标签：…ching target velocity Gaussian Target Velocity Flow Matching 速度场大模型训练与微调百度

#Flow Matching#扩散模型#概率流

面试题·模型训练· 阶跃星辰

LlamaFactory 怎么构造训练数据?

匹配题目：除了TRL之外，你还使用过哪些大模型训练或微调框架（例如LlamaFactory）？请以LlamaFactory为例，说明其支持的数据构造方式、训练数据格式要求（如instruction、input、output字段定义），以及这些格式如何适配SFT或DPO训练任务。

#LlamaFactory#数据格式#SFT

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配追问：GSPO与DPO（Direct Preference Optimization）在优化目标上的本质区别是什么 GSPO如何处理分布外（OOD）动作的探索问题在实际大模型训练中，GSPO的离线数据质量如何影响最终策略性能场景切入假设一个 MoE 策略在可验证奖励任务中对每个 prompt 采样多条响应，训练时 token 级比率波动明显。你会怎样引入 GSPO，并用哪些指标判断序列级裁剪是否改善稳定性？层层追问 GSPO 的 Group Sequence 指什么？……组…

#策略优化#离线强化学习#监督学习结合RL

面试题·多模态· 百度

MoE 专家网络怎么动态路由?

匹配标题与标签：…型 MoE 噪声调度专家路由多模态生成 2026真题 MoE 路由机制多模态扩散模型高噪专家低噪专家混合专家模型多模态大模型百度

#扩散模型#MoE#噪声调度