匹配正文：📊 学习时长:60-75 分钟 🎯 完成后能力:比较Agentic CPT、SFT与GRPO在一条调研Agent训练路线中的作用、选择条件与边界，理解组内优势及长轨迹奖励风险；本章不实际运行训练 🔗 关联面试题:5 道(覆盖 5 个角度,见 Part 3) 🧭 这一章怎么读:训练流程为什么分阶段、每阶段解决什么、GRPO 的直觉和关键技巧的原理,本章都会讲,并带一个零依赖小实验帮你理解 GRPO 的核心。训练本身要 GPU、跑起来慢,所以这一章不真的跑训练,而用「概念…

#Agent#Deep Research#项目实战

面试题·模型训练· 网易

SFT 置信度下降影响

匹配正文：置信度下降不等于性能或校准必然变差预训练语言模型与常规生成式 SFT 通常都使用 token 级交叉熵；分类头微调也常使用交叉熵。两者并不存在“预训练交叉熵鼓励自信、SFT 交叉熵反而鼓励平均”的通用对立。排查可分为四层：数据与标签：类别先验变化、域迁移、边界样本增多、冲突标注或硬标签噪声都会改变 posterior。硬标签噪声仍是 one-hot 错标，不等同于软标签。训练目标：label smoothing、知识蒸馏软目标、Mixup、熵或 logit 正则会抑制…

#模型校准#标签平滑#温度缩放

面试题·Agent

首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？

匹配正文：…不一定选择合适工具；即使工具调用成功，最终答案还可能不完整。这不是一个矛盾结果。格式学习、工具策略和答案能力本来就是不同层次。SFT 可以很快让模型模仿外壳，却未必已经学会在不同情境下做选择，更不能保证它能从工具结果中组织完整答案。现有首次训练记录正好提供了一个可以诚实分析的小样本案例。所以面试官真正想问的是：首次 SFT 应该如何限定实验结论，为什么格式比策略更容易学，怎样把工具选择、答案准确与完整度拆开评测，以及下一批数据应该按什么缺口补，而不是盲目加量？先把…

第 1 / 6 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Deep Research#数据构造与训练#Deep Research SFT

面试题·Agent

Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？

匹配正文：把一批优质轨迹拿来做 SFT，模型可以更快学会结构化 tool call，也能模仿常见的搜索与回答流程。但这不代表它已经会在新环境里做研究。面对训练数据没覆盖的工具错误、来源冲突和长程任务，模型可能继续照搬固定路径。它知道“标准答案长什么样”，却不知道哪条行动更好，也没有在环境反馈中练过取舍。相关训练材料把 Deep Research Agent 的训练拆成三层：Agentic CPT 注入 Agent 相关偏置，SFT 冷启动学习协议与基本轨迹，GRPO 再在环境反馈…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

面试题·模型训练· 字节

SFT vs 预训练:核心区别在哪?

匹配正文：预训练与 SFT 常共享 next-token 交叉熵，差异主要在数据和监督范围自回归预训练通常在大规模通用文本上预测下一个 token，几乎所有有效 token 都参与损失，目标是学习语言、知识和通用表示。SFT 使用人工或合成的指令、对话和目标回答，仍常采用 next-token cross-entropy，但通过对话模板与 loss mask 只监督 assistant 回答或指定部分，目标是让模型遵循任务、格式、风格和行为边界。学习率、训练轮数、数据规模与混合策略也…

#监督微调#预训练对比#复读机问题

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：SFT过拟合最可信的信号，是训练集目标持续改善，而独立验证集的loss或目标任务指标在超过评测噪声后持续变差。只看训练loss低不够，单个验证点反弹也不够。验证集合必须代表真实使用分布，并在用户、文档和近重复层面与训练集隔离，否则分叉可能被泄漏掩盖。 PPL通常是平均交叉熵的指数变换，在相同tokenization和口径下与loss单调对应，并不天然比loss更敏感。生成任务还要看格式成功率、事实性、指令遵循、拒答、长度和人工偏好。不同长度或不同tokenizer的PPL不能…

#过拟合识别#训练监控#正则化策略

面试题·模型训练· 网易

SFT 后置信度下降怎么办?

匹配正文：…er score、ECE、reliability diagram、logit margin，并按类别与数据域切片。可能原因包括：SFT 数据的类别先验或域发生变化；样本更模糊、标签冲突；启用了 label smoothing、蒸馏软标签、Mixup、熵或 logit 正则；class weighting 改变有效先验；学习率过大、分类头重置、灾难性遗忘或训练不足；dropout、weight decay 与冻结策略改变；推理阶段重复 softmax、temperature、…

#模型校准#过拟合#温度缩放

面试题·模型训练· 网易

SFT 后置信度下降原因

匹配正文：…ability diagram，并按类别、域和时间切片。若置信度下降同时更接近真实正确率，校准反而可能改善。排查四层原因数据：SFT 数据类别先验改变、样本更模糊、标签噪声/软标签增多、域迁移，或 train/validation 切分口径变化。目标与正则：显式 label smoothing、Mixup/软标签、entropy/logit regularization、class weighting、weight decay 与 dropout 都可能影响 logit…

#模型校准#温度缩放#标签平滑

面试题·模型训练· 阿里

SFT prompt 模板设计原则与结构

匹配正文：…免信息混杂导致模型理解偏差 3. 输出可控性通过模板预设输出格式（JSON、Markdown、特定标记）减少生成不确定性典型SFT Prompt结构（以Alpaca格式为例） { "instruction": "将以下中文句子翻译成英文", "input": "大模型微调是提升特定任务能力的关键技术", "output": "Fine-tuning large language models is a key technique for enhancing task-s…

#Prompt Engineering#指令微调#数据格式设计

面试题·模型训练· 阿里

SFT 硬件资源怎么配?

匹配题目：在进行大模型监督微调（SFT）时，典型的硬件资源配置是怎样的？例如需要多少张GPU卡、多少台机器，影响资源需求的主要因素有哪些？

#SFT#分布式训练#GPU显存计算

面试题·模型训练· 字节

SFT 复读机问题怎么解?

匹配正文：…固定提示和固定随机种子下定位故障，再分别做数据去重、checkpoint对比和解码消融，确认问题来自哪里。 DPO通常建立在已完成SFT的策略上，用偏好对拉开优选与拒选回答的相对概率。它可以在偏好数据明确标注重复问题时帮助调整行为，但不是绕开MLE的通用替代，也不能修复错误EOS、严重数据污染或推理代码缺陷。偏好样本若只奖励短答案，还可能带来新的长度偏差。我的验收会保留一组未参与调参的提示，按任务和长度分桶，对比重复率、完成率、事实质量与人工偏好，并监控修复后是否出现过度简…

#监督微调#复读机问题#训练数据

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…mization GSPO 不是 Generalized Supervised Policy Optimization，也不是离线监督微调方法。Qwen 团队论文将其定义为 Group Sequence Policy Optimization，用于大语言模型强化学习。它针对可验证奖励下的成组采样：同一 prompt 生成一组响应，依据组内奖励构造相对优势，再用策略概率更新模型。关键变化是把 importance ratio 的粒度从 token 转到序列。GSPO 根据整条…

#GSPO#策略优化#离线强化学习

面试题·模型训练· 美团

SFT 人工标注数据怎么构建?

匹配正文：…标、重叠标注、专家仲裁、理由与证据留存、标注者漂移监控和版本化。验证层检查 schema、重复、泄漏、类别分布和安全，再用小规模 SFT 或代理任务看学习曲线与切片表现。模型辅助可用于预标和风险排序，但不能用未经验证的分类器自动判定最终质量。发布数据卡，记录来源、指南版本、一致性、已知偏差和不适用场景。

#数据工程#人工标注#数据质量

面试题·RLHF与对齐· 网易

SFT、偏好优化与 RL 怎么衔接?

匹配正文：核心判断经典后训练更常见的基线是先用示范做 SFT，再收集偏好训练奖励模型或直接做偏好优化，随后用 PPO 等方法更新策略。InstructGPT明确展示了 SFT、奖励模型、PPO 的顺序，并在 PPO 中混入预训练梯度以缓解公开任务回退。它不能证明 SFT 与 RL 必须周期性交替，也不能证明再次 SFT 会自动恢复预训练知识。是否迭代，要由新增失败样本、奖励漂移和独立评测决定。机制与边界 SFT提供可读、可执行的初始行为，也让后续策略采样落在相对合理的区域。偏好学习…

#SFT#RLHF#语言退化

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配正文：…数冻结后无法感知新知识，RAG通过实时检索外部库解决幻觉问题：生成内容可溯源到检索文档，大幅降低"一本正经胡说八道" 训练成本：SFT需要重新训练模型，RAG只需更新知识库，边际成本极低可解释性：能展示"参考了哪些资料"，满足合规审计需求 RAG vs SFT 的适用边界维度 RAG更适合 SFT更适合知识特性频繁更新、领域专精通用能力、长期稳定数据规模海量文档（TB级）高质量指令对（万级）响应形式需要引用来源需要风格/人格化延迟要求可接受百毫秒级…

#美团#模型微调#RAG vs SFT

面试题·模型微调· 美团

RAG 为何比 SFT 更优?

匹配正文：…：弥补纯参数化知识的三大缺陷问题说明知识截止模型权重冻结后无法感知新信息幻觉风险参数记忆模糊时"自信编造" 训练成本 SFT更新知识需重训，代价高昂 RAG将知识外置到可动态更新的检索库，实现非参数化知识扩展。 RAG vs SFT：三维度对比 1. 知识更新 SFT：需重新训练/LoRA微调，周期长，难以追平实时信息 RAG：更新文档库即可，分钟级生效，适合新闻、股价、政策等动态场景 2. 事实准确性 SFT：依赖训练数据覆盖，长尾事实易遗漏或混淆 RAG：检索…

#美团#RAG vs SFT#RAG

面试题·模型微调

SFT vs RAG 知识更新

匹配正文：…推理准确性、部署复杂度、泛化能力）分析各自的性能上限瓶颈给出典型适用场景的判断标准能结合业务场景做选型建议核心对比维度 SFT RAG 知识更新灵活性差。需重新训练，成本高、周期长优。知识库热更新，分钟级生效推理准确性依赖训练数据质量，易幻觉可控。检索结果可溯源、可干预部署复杂度相对简单，单模型推理复杂。需向量库+检索+重排序+生成多模块泛化能力强。内化知识，复杂推理更连贯弱。依赖检索质量，知识片段间推理易断裂性能上限分析 SFT上限：受限于…

#SFT#RAG 知识更新#SFT vs RAG 知识更新

面试题·模型微调

什么是微调(SFT)?和预训练有什么区别?

匹配正文：答案要点 SFT(Supervised Fine-Tuning,监督微调)= 用"指令-回答"成对数据,教预训练模型学会听懂并执行指令分工:预训练学知识和语言能力(会说话),SFT 学对话格式和任务遵循(会好好回答) 数据形态迥异:预训练用海量无标注原始文本,SFT 用少量高质量的标注对话样本训练目标同为预测下一个词,但 SFT 通常只对回答部分计算 loss SFT 是后训练(post-training)的第一步,后面还有 RLHF/DPO 等对齐环节核心概念 SFT…

#入门#基础概念#SFT 微调

面经·项目面试

SFT 样本有答案，训练目标却可能被截掉

匹配正文：SFT 样本有答案，训练目标却可能被截掉训练前的检查日志里，假如出现这样一组结果：两条样本，监督位置总数是3，最少的一条是0，最多的一条是3。脚本继续往下走了。你会把这批数据判断为可训练，还是先停下来看看那条0？原始文件里，两条样本都可以有答案。打开对话，用户的问题在前，assistant的回答在后，内容完整，角色也没有写错。但模型接收到的是经过模板、分词和长度处理后的序列。原文里的回答存在，不等于进入训练的那一段还保留着回答。这个问题很容易被一个配置名掩盖：已经设了向…

#SFT#数据处理#截断

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：…要会微调吗？不一定要做深度训练，但要会判断边界：Prompt / RAG 解决不了风格、格式、领域行为或工具轨迹问题时，才考虑 SFT / LoRA / DPO，并且必须能评估收益。 LoRA 面试最常被问哪些点？常问参数高效的原理、rank 怎么选、和全量微调的差异、数据质量、过拟合、合并权重、推理部署，以及为什么这件事值得微调。 DPO 和 RLHF 怎么讲得清楚？ RLHF 是奖励模型 + 强化学习的经典链路，DPO 直接用偏好对优化策略，工程上更简单。面试里要结合…

#专题学习#大模型微调与训练面试题大全

面试题·Agent

轨迹里工具返回为什么不能参与 Loss，Observation Mask 做错会怎样？

匹配正文：…成，而不是自动补一个答案。相关教程在强化学习部分还提醒，未完成长轨迹若直接作为错误负样本，可能让模型学会为了避免截断而仓促作答。SFT 数据阶段就应保留这个失败类型。 Mask 正确不等于数据正确一条轨迹可以完美区分角色，却仍然选择错工具、访问错页面、重复搜索或给出无证据结论。 Loss mask 只保证监督目标没有要求模型生成环境文本。轨迹仍需经过结构、行为和答案质量门：工具参数是否合法，步骤是否推进，异常是否真实，关键主张是否有证据，停止是否合理。同样，Mask …

#Deep Research#数据构造与训练#Observation Loss Mask

面试题·模型训练· 阶跃星辰

LlamaFactory 怎么构造训练数据?

匹配正文：…dataset_info.json 登记文件、formatting、ranking 和 columns。Alpaca 是默认格式。SFT 样本使用 instruction、可选 input、output；框架把 instruction 与 input 组合成用户提示，output 是模型回答。若自定义列名，在 columns 中映射 prompt、query、response。 Alpaca 偏好数据不是直接只有 prompt/chosen/rejected 的固定 sche…

#LlamaFactory#数据格式#SFT

面试题·RLHF与对齐· 阶跃星辰

Agent 工具调用训练数据怎么构建?

匹配正文：…败覆盖。采样应根据当前成功率、失败类型覆盖、奖励方差和关键风险动态调整，而不是固定某个成功与失败比。还要区分训练阶段。行为克隆或SFT使用筛选后的动作示范，偏好训练使用可比较的轨迹对，在线RL则从当前或近当前策略与真实环境交互获得数据。把在线RL简化成监督样本配比会忽略策略分布、重要性偏差和环境反馈。离线轨迹也应记录生成策略版本。奖励可以结合任务成功、工具验证器、成本和安全约束，但代理信号必须防止作弊。代码工具要用隐藏测试，检索任务要检查引用是否支持结论，带副作用操作要在…

#工具学习#轨迹数据构建#数据配比

项目实战·Agent

Deep Research Agent

匹配正文：…键信息保留率裁剪 vs 摘要、外部记忆与遗忘、指代消解训练数据 + 训练种子问题 → Teacher 轨迹 → 筛选与增强 SFT 冷启动学输出格式 RL 与负样本筛选的候选方案及风险验证 Loss Mask 掉 observation token 工程验证 + 评估为推理、并发与成本设计压测(KV Cache / continuous batching) 把 RACE、FACT 与 LLM-as-Judge 作为候选评测方法校验把失败样本回流到数据与策略验证学习…

#项目实战#Deep Research Agent