匹配正文：答案要点 SFT(Supervised Fine-Tuning,监督微调)= 用"指令-回答"成对数据,教预训练模型学会听懂并执行指令分工:预训练学知识和语言能力(会说话),SFT 学对话格式和任务遵循(会好好回答) 数据形态迥异:预训练用海量无标注原始文本,SFT 用少量高质量的标注对话样本训练目标同为预测下一个词,但 SFT 通常只对回答部分计算 loss SFT 是后训练(post-training)的第一步,后面还有 RLHF/DPO 等对齐环节核心概念 SFT…

#入门#基础概念#SFT 微调

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：…做微调 / Post-Train 项目，轻量版怎么做 Deep Research 第 6 章：训练数据与多阶段训练知识模块轻量微调、LoRA 与应用场景轻量微调、LoRA 与应用场景训练流程、数据与稳定性训练流程、数据与稳定性 RLHF、DPO 与偏好对齐 RLHF、DPO 与偏好对齐常见问题应用岗一定要会微调吗？不一定要做深度训练，但要会判断边界：Prompt / RAG 解决不了风格、格式、领域行为或工具轨迹问题时，才考虑 SFT / LoRA / DPO…

#专题学习#大模型微调与训练面试题大全

面试题·模型训练· 网易

SFT 置信度下降影响

匹配正文：置信度下降不等于性能或校准必然变差预训练语言模型与常规生成式 SFT 通常都使用 token 级交叉熵；分类头微调也常使用交叉熵。两者并不存在“预训练交叉熵鼓励自信、SFT 交叉熵反而鼓励平均”的通用对立。排查可分为四层：数据与标签：类别先验变化、域迁移、边界样本增多、冲突标注或硬标签噪声都会改变 posterior。硬标签噪声仍是 one-hot 错标，不等同于软标签。训练目标：label smoothing、知识蒸馏软目标、Mixup、熵或 logit 正则会抑制…

第 1 / 4 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#模型校准#标签平滑#温度缩放

面试题·模型训练· 字节

SFT vs 预训练:核心区别在哪?

匹配题目：请详细说明监督微调（SFT）与预训练阶段在目标、数据、训练方式等方面的区别。SFT可能带来哪些问题（如复读机现象）？在什么场景下选择SFT作为对齐手段更为合适？

#监督微调#预训练对比#复读机问题

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：…eight decay、dropout或数据混合。每种正则都可能导致欠拟合，需要和原配置做单变量对照。 LoRA、QLoRA或全量微调只是可训练参数组织方式，不存在一组rank、alpha、dropout和target modules能解决所有SFT过拟合。PEFT可能降低自由度，也可能因模块选择不当而欠拟合。梯度累积主要改变优化与吞吐，也不能直接保证泛化提升。我会保存多个checkpoint，在未参与调参的真实分布holdout上比较自动指标和盲评，并报告置信区间。若最佳…

#过拟合识别#训练监控#正则化策略

面试题·模型训练· 网易

SFT 后置信度下降怎么办?

匹配题目：在一个分类任务中，模型在微调前的预测概率分布较为集中（置信度高），但在经过监督微调（SFT）后，输出概率变得分散（置信度下降）。请分析可能导致这一现象的技术原因，并提出可能的解决方案。

#模型校准#过拟合#温度缩放

面试题·模型训练· 网易

SFT 后置信度下降原因

匹配题目：在进行监督微调（SFT）前后，分类模型的预测概率分布从高度集中变为更加均匀（即置信度下降），这可能由哪些因素引起？请从数据分布、损失函数和过拟合等角度分析。

#模型校准#温度缩放#标签平滑

面试题·模型训练· 阿里

SFT prompt 模板设计原则与结构

匹配正文：…免信息混杂导致模型理解偏差 3. 输出可控性通过模板预设输出格式（JSON、Markdown、特定标记）减少生成不确定性典型SFT Prompt结构（以Alpaca格式为例） { "instruction": "将以下中文句子翻译成英文", "input": "大模型微调是提升特定任务能力的关键技术", "output": "Fine-tuning large language models is a key technique for enhancing task-s…

#Prompt Engineering#指令微调#数据格式设计

面试题·模型训练· 阿里

SFT 硬件资源怎么配?

匹配题目：在进行大模型监督微调（SFT）时，典型的硬件资源配置是怎样的？例如需要多少张GPU卡、多少台机器，影响资源需求的主要因素有哪些？

#SFT#分布式训练#GPU显存计算

面试题·模型训练· 字节

SFT 复读机问题怎么解?

匹配题目：监督微调（SFT）中常见的‘复读机’问题具体指什么？其成因有哪些？特别是训练数据中的重复样本为何会加剧该问题？请从模型优化和数据分布角度解释。

#监督微调#复读机问题#训练数据

面试题·模型训练· 美团

SFT 人工标注数据怎么构建?

匹配题目：在缺乏足够真实用户行为数据的情况下，如何系统性地设计和构建大批量、高质量的人工标注数据集，以支持大模型的监督微调（SFT）？请描述数据设计原则、标注流程控制和质量验证方法。

#数据工程#人工标注#数据质量

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配题目：为什么在大模型应用中引入检索增强生成（RAG）？在哪些具体场景下，RAG相比纯监督微调（SFT）更具优势？

#美团#模型微调#RAG vs SFT

面试题·模型微调· 美团

RAG 为何比 SFT 更优?

匹配正文：…：弥补纯参数化知识的三大缺陷问题说明知识截止模型权重冻结后无法感知新信息幻觉风险参数记忆模糊时"自信编造" 训练成本 SFT更新知识需重训，代价高昂 RAG将知识外置到可动态更新的检索库，实现非参数化知识扩展。 RAG vs SFT：三维度对比 1. 知识更新 SFT：需重新训练/LoRA微调，周期长，难以追平实时信息 RAG：更新文档库即可，分钟级生效，适合新闻、股价、政策等动态场景 2. 事实准确性 SFT：依赖训练数据覆盖，长尾事实易遗漏或混淆 RAG：检索…

#美团#RAG vs SFT#RAG

面试题·模型微调

SFT vs RAG 知识更新

匹配题目：从知识更新灵活性、推理准确性、部署复杂度和泛化能力等方面比较监督微调（SFT）与检索增强生成（RAG）两种范式，分析它们各自的性能上限及适用场景。

#SFT#RAG 知识更新#SFT vs RAG 知识更新

项目实战·模型微调

大模型微调实战

匹配正文：…始，继续讨论数据、训练、评估与常见失败。内容公开前只展示学习范围，不把尚未验证的结果包装成个人经历。为什么 + 选型什么场景该微调、什么场景别微调领域 LLM 微调的标准化流程数据工程(最容易被忽视、却最决定成败) 微调数据格式到底怎么构造怎么从领域语料造出高质量数据集多轮对话数据怎么造 Function Calling 数据怎么造训练与调优显存到底要多少、怎么估不同任务 LoRA 需要多少数据用 token-参数曲线找训练「拐点」 SFT 阶段怎么缓解灾…

#项目实战#大模型微调实战

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：…工程视角,讲怎么把训练好的模型送上线。 🏆 Part 3 · 验收串题｜ ~10% 关联面试题(5 道,覆盖 5 个角度) 【SFT vs 预训练】监督微调(SFT)和预训练在目标、数据、训练方式上有什么区别? 中等 → 【PPO vs GRPO】比较 PPO 与 GRPO 在目标函数、优势估计方式上的区别。较难 → 【奖励函数设计】在强化学习或 Agent 系统中,如何设计一个有效的奖励函数? 较难 → 【长视界信用分配】长视界任务里奖励稀疏、信用分配困难,怎…

#Agent#Deep Research#项目实战

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：…与监控题库、文档处理、评估章两条线都绕不开,算法线更深 Training / Post-Train 层用数据改模型本身的行为 SFT、LoRA、DPO/GRPO、工具调用轨迹数据模型微调题库、RLHF与对齐、训练章算法/研究生线选修,应用线按岗位这个分层的用处在于对号入座:开发/Java 后端线的杠杆在中间两层——把 Agent Harness 的工程骨架(权限、trace、失败恢复、成本)和 Data/Eval 的评估闭环做扎实,正好吃你的服务化和稳定性经验;算法…

#求职#职业转型

求职指南·求职

要不要做微调 / Post-Train 项目,轻量版怎么做

匹配正文：对多数转应用开发岗的人,微调不是必做项。面试更常考的是"你知不知道什么时候该微调、和 RAG/Prompt 怎么取舍",而不是你手搓过多复杂的训练。真要做,做一个目标清晰、有评估、能说清收益的轻量 LoRA/SFT 就够了,不必一上来啃工业级 Post-Train。这一页帮你判断该不该碰微调,以及如果要做,轻量版的最小证据链长什么样。作者:吴师兄 | 适合:纠结要不要做微调项目、把 LoRA/SFT 写进简历的转行者 | 前置:知道 RAG/Agent 是什么,看过技术栈全…

#求职#职业转型

求职指南·求职

领域八股速通:RAG / Agent / 评估 / 微调高频考点地图

匹配正文：…pK 怎么定" 项目里怎么体现讲你加没加重排、召回从多少提到多少(经验值)、为什么选这个重排方案刷题去重排与优化题库。模型微调(47 题):验证你懂不懂什么时候该微调微调题量不大、门槛偏高,偏算法/研究生侧选修。面试官考它主要看两点:你分不分得清"该 RAG 还是该微调",以及懂不懂 SFT/LoRA/DPO 的基本取舍,而不是要你现场推公式。维度内容面试官在验证什么你能否判断微调 vs RAG 的适用边界、理解 SFT/LoRA/DPO 各解决什么、数据怎…

#求职#职业转型

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…mization GSPO 不是 Generalized Supervised Policy Optimization，也不是离线监督微调方法。Qwen 团队论文将其定义为 Group Sequence Policy Optimization，用于大语言模型强化学习。它针对可验证奖励下的成组采样：同一 prompt 生成一组响应，依据组内奖励构造相对优势，再用策略概率更新模型。关键变化是把 importance ratio 的粒度从 token 转到序列。GSPO 根据整条…

#GSPO#策略优化#离线强化学习

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配正文：…化：多路召回、HyDE（假设文档嵌入）、Self-RAG（反思token）局限：检索失败时幻觉反而加重，需配合置信度校准 2. 微调策略事实性SFT：用高质量QA对训练，强化"不知道就拒绝" 偏好对齐：RLHF/DPO中引入事实性奖励，惩罚幻觉输出知识蒸馏：从大模型蒸馏事实性强的推理链到小模型 3. 推理时干预（Inference-Time Intervention）不修改模型，在生成过程中干预：方法机制代表工作对比解码对比大模型与浅层输出，抑制幻觉 DoL…

#联通#大模型幻觉缓解#检索增强

面试题·模型微调· 华为

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

匹配正文：…shot的典型场景：任务模式复杂但样本少：如特定格式的日志解析、领域术语翻译，10-20个示例即可定义模式，无需几百条标注数据做SFT 需求变化快/多租户场景：不同客户（运营商A/B/C）有各自格式规范，用动态示例切换比维护多个LoRA权重更灵活冷启动阶段：快速验证PMF，避免重训成本三方案对比决策：维度 Zero-shot Few-shot Fine-tuning 数据需求无 5-20条数百-数千条成本最低（推理）低（推理+示例token）高（训练+部署…

#华为#Few-shot 提示#Zero-shot 对比

面试题·模型训练· 阶跃星辰

LlamaFactory 怎么构造训练数据?

匹配题目：除了TRL之外，你还使用过哪些大模型训练或微调框架（例如LlamaFactory）？请以LlamaFactory为例，说明其支持的数据构造方式、训练数据格式要求（如instruction、input、output字段定义），以及这些格式如何适配SFT或DPO训练任务。

#LlamaFactory#数据格式#SFT

面试题·模型训练· 阿里

模型收敛怎么判断?

匹配正文：…t clipping是稳定手段，裁剪阈值也应通过基线与日志标定。验证侧要选择与任务相符的指标。语言建模可看验证loss或PPL，SFT还要看指令遵循、格式、事实性、拒答和多轮一致性；自动指标不足时加入固定盲样的人评。只有主要指标在多个评测点没有超过噪声的改善，并且训练仍稳定，才有理由认为继续训练的边际收益很低。早停可以保存最佳checkpoint，并在预先定义的评测节奏上观察耐心窗口。窗口长度、最小改善和评测频率取决于数据量、训练速度、指标方差和成本，不应背成固定epoc…

#模型收敛#损失曲线#早停策略