匹配正文：SFT过拟合最可信的信号，是训练集目标持续改善，而独立验证集的loss或目标任务指标在超过评测噪声后持续变差。只看训练loss低不够，单个验证点反弹也不够。验证集合必须代表真实使用分布，并在用户、文档和近重复层面与训练集隔离，否则分叉可能被泄漏掩盖。 PPL通常是平均交叉熵的指数变换，在相同tokenization和口径下与loss单调对应，并不天然比loss更敏感。生成任务还要看格式成功率、事实性、指令遵循、拒答、长度和人工偏好。不同长度或不同tokenizer的PPL不能…

#过拟合识别#训练监控#正则化策略

面试题·模型训练· 网易

SFT 置信度下降影响

匹配标题与标签：SFT 置信度下降影响置信度下降对校准、阈值和业务决策的影响，补充适用边界与工程取舍模型训练模型校准标签平滑温度缩放过拟合分布偏移 2026真题 SFT 置信度下降影响 SFT 后置信度下降有什么影响？校准、ECE 与阈值 SFT 置信度下降监督微调概率分布分类模型微调后低置信度大模型训练与微调网易

#模型校准#标签平滑#温度缩放

面试题·模型架构· 高德

参数规模怎么影响大模型?

匹配正文：…算下改善训练损失和迁移能力，但效果取决于训练 token、数据质量、计算预算、架构和优化。不能用“参数数大于 token 数”判断过拟合：token 不是独立样本，参数共享也使简单样本数比较失去解释力。四个观察维度学习能力：更大模型能表示更复杂模式，但容量没有被数据和计算充分利用时，收益会饱和。训练动态：显存、通信、吞吐和数值稳定性更难；不应断言模型越大损失面必越平、梯度噪声必越大或 SGD 必到全局最优。泛化与过拟合：训练 loss、验证 loss、下游任务、校准、…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#缩放定律(Scaling Laws)#过参数化#双下降现象

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：…漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtype下训练。先用很小数据过拟合测试验证链路。 rank决定更新子空间容量，alpha参与增量缩放，它们与学习率和初始化耦合。样本少不等于必然使用某个rank，复杂任务也不等于更新一定高秩。更大rank可能增加表达力，也会增加参数和过拟合风险。较好的方法是选几个rank和缩放配置，在相同训练预算下看验证曲线。 target modules往往比单独调rank更关键。只改注意…

#LoRA#参数高效微调#故障排查

面试题·模型训练· 网易

SFT 后置信度下降怎么办?

匹配标题与标签：SFT 后置信度下降怎么办? 分类任务微调后概率分布分散的原因与解决方案模型训练模型校准过拟合温度缩放标签平滑知识遗忘 2026真题 SFT 置信度下降监督微调概率分散分类任务微调问题大模型训练与微调网易

#模型校准#过拟合#温度缩放

面试题·模型训练· 网易

SFT 后置信度下降原因

匹配题目：…督微调（SFT）前后，分类模型的预测概率分布从高度集中变为更加均匀（即置信度下降），这可能由哪些因素引起？请从数据分布、损失函数和过拟合等角度分析。

#模型校准#温度缩放#标签平滑

面试题·模型训练· 阿里

模型收敛必须用验证集吗？

匹配正文：…；结合梯度范数、参数更新比、学习率和数值稳定性，可判断优化是否停滞或发散。但训练损失不能证明模型对未见数据泛化，也可能继续下降同时过拟合。验证集用于超参数选择、早停、checkpoint 选择和阈值调整。它不是天然“无偏”的泛化估计：反复查看并据此决策会对验证集过拟合。最终泛化结果应在未参与选择的独立测试集上报告。数据少时可用交叉验证、时间切分或嵌套验证，但仍要保留未见证据。大规模预训练同样常持续监控 held-out loss、下游评测和数据污染，并非通常不使用验证集。…

#过拟合#早停策略#模型泛化

面试题·推理优化· 美团

可视化怎么诊断训练问题?

匹配正文：…，超参数要靠对照实验决定训练曲线先对齐 step、有效 token、学习率、梯度累积和数据版本。训练损失下降而验证损失上升可能是过拟合，也可能来自验证分布变化、数据泄漏修复或评测噪声；训练与验证都不降则检查数据、实现、容量和优化。梯度直方图要结合每层参数范数、激活、更新量、混合精度缩放和累积步数解读。底层梯度比顶层小很多并不自动意味着给底层更小学习率，那会进一步减小更新；也不能仅凭单次比例反向给更大学习率。更可靠的量是相对更新，如学习率乘梯度范数再除参数范数，并观察多个 …

#训练可视化#过拟合诊断#梯度消失/爆炸

面试题·项目与经历· 商汤科技

大模型项目缺陷修复

匹配正文：按缺陷类型定位，不把方法名当万能修复过拟合或分布外退化应先比较训练集、独立验证集和真实流量切片，排查数据重复、泄漏、标签噪声与域偏移，再选择更强切分、正则、数据增广、早停或更合适的微调范围。推理延迟高要拆成排队、prefill、逐 token 解码和工具调用。量化、KV Cache、连续批处理、并行与 speculative decoding 的作用不同。投机解码由较小的 draft model 提议若干 token，再由 target model 并行验证；draft …

#过拟合#推理优化#输出稳定性

面试题·评估· 阿里

验证集和测试集为何要分开?

匹配标题与标签：验证集和测试集为何要分开? 模型选择偏差与泛化能力评估,合并的风险评估模型评估过拟合数据划分泛化能力模型选择偏差 2026真题验证集测试集区别泛化能力评估大模型评测阿里

#模型评估#过拟合#数据划分

面试题·RAG· 小红书

ROI 问题怎么影响推荐效果?

匹配正文：…型频繁推荐相同或高度相似的物品，如反复推同一作者的笔记原因：训练数据中的流行度偏差、自回归生成的短视性 Overfitting（过拟合）对训练集中的热门物品过度拟合，长尾物品召回困难表现：冷启动用户/物品推荐质量差，泛化能力不足 Lack of diversity（多样性不足）推荐结果同质化严重，覆盖的类目、风格、话题狭窄用户视角：信息茧房；平台视角：流量分配失衡对推荐效果的影响问题核心损害 Repetition 用户体验疲劳，点击率虚高但满意度下降 Over…

#小红书#推荐多样性#ROI 问题

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：… DPO，并且必须能评估收益。 LoRA 面试最常被问哪些点？常问参数高效的原理、rank 怎么选、和全量微调的差异、数据质量、过拟合、合并权重、推理部署，以及为什么这件事值得微调。 DPO 和 RLHF 怎么讲得清楚？ RLHF 是奖励模型 + 强化学习的经典链路，DPO 直接用偏好对优化策略，工程上更简单。面试里要结合数据、稳定性和适用场景讲。继续学习大模型技术栈全景：微调、推理与评估怎么学大模型系统设计和编码环节怎么准备

#专题学习#大模型微调与训练面试题大全

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配正文：…其缓存概率训练稳定性对奖励尺度、KL、优势估计和采样分布敏感通常更容易训练，但仍受 beta、标注噪声、长度偏差、参考模型和过拟合影响效果表现适合有可靠标量奖励、在线反馈或需要随当前策略持续采样的任务适合已有高质量离线偏好对、预算有限、需要快速迭代的任务选型判断优先 DPO 已有覆盖目标分布的高质量偏好对，偏好边界清晰希望复用 SFT 训练设施，减少奖励模型和在线采样成本能通过留出集、长度分桶和人工抽检持续监控偏好过拟合考虑 PPO 或其他在线 RL 方…

#DPO#PPO#RLHF

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：… 基本理解评估体系模型改了到底有没有变好指标、评估集、人工复核、线上反馈失败样例分析为什么新模型某些场景退化数据覆盖、过拟合、灾难性遗忘研究生和算法背景更容易切这个方向。后端同学也能靠应用项目逐步靠近,但不建议一开始就把自己包装成微调专家。先讲清 RAG/Agent 场景,再说明你理解什么时候需要微调,会更可信。读 JD 时用这张表判断岗位类型 JD 关键词更可能是哪类岗位你该准备什么知识库、问答、向量库、检索、引用 RAG 工程 RAG 项目、检索/重…

#求职#职业转型

求职指南·求职

转大模型应用开发,数学和深度学习理论要补多少

匹配正文：…补到什么程度想走应用算法岗概率、线性代数、优化基础能理解论文里的公式、能改损失函数和训练策略要做模型微调梯度、损失函数、过拟合、学习率调度能看懂训练曲线、判断是否收敛、调超参研究方向是大模型本身按导师和方向要求达到能做研究、能复现论文的水平如果你确实要碰训练侧,别只看理论,直接从题目切入更快:去刷模型微调题库,47 道题会告诉你微调岗真正会问哪些点——你会发现追问也集中在数据、场景、评估和工程取舍上,纯数学证明依然是少数。这能帮你校准"到底要补多深"。行…

#求职#职业转型

项目实战·Agent

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：…尺子:一个精心构造的评估集(一批有代表性的调研问题 + 参考答案 / 评分标准)。评估基准:固定评估集让每版可比;但静态集会被「过拟合」,需定期更新评估集怎么建:覆盖不同场景、不同难度、不同问题类型(回扣第 5 章的数据分布思想),才能反映真实能力而非偏科。静态 vs 动态:固定评估集方便对比每一版,但用久了模型会针对它过拟合(无论有意无意),分数虚高。所以要定期更新评估集、加入新问题,保持它的「区分度」。 2.4 最大的陷阱:Goodhart 定律与刷分这是评估里最…

#Agent#Deep Research#项目实战

面试题·Agent

轨迹里工具返回为什么不能参与 Loss，Observation Mask 做错会怎样？

匹配正文：…。某批数据有效监督比例异常高，可能是 observation 漏标；异常低则可能把 assistant 输出遮掉。第五层是极小批过拟合测试。用少量已人工确认样本检查训练能否降低目标位置 loss，并在给定同样 observation 时复现合法 tool call 或答案。它不能证明泛化，却能暴露全 mask、边界错位和模板不兼容。第六层是推理回放。模型生成 tool call 后，必须由真实控制器执行，再把 observation 注入。若它经常在工具返回前自行生成…

#Deep Research#数据构造与训练#Observation Loss Mask

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…会复述原文？没有正确证据位置，怎么评估检索？最终答案错了，怎么知道该修检索还是生成？参数一直对着同一批题调，会不会把系统调到过拟合？一条评测样本到底要保存什么？最小结构不是“问题加答案”，而是“问题、答案、证据”。问题要尽量接近真实用户表达，而不是照着文档标题改成问句。参考答案可以是一段标准文本，也可以是一组必须覆盖的答案要点。开放式问题有多种正确说法时，用要点比逐字匹配更合理。证据则要指向能够支持答案的具体内容，包括文档 ID、Chunk、页码、段落、幻灯片…

#RAG#评测与上线#RAG 评测集

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…现为模型能力不足。训练侧检查loss mask、tokenizer、学习率、梯度、checkpoint加载和数据配比，并用少量样本过拟合测试确认实现能学习。若确定需要微调，就建立可比较基线。LoRA的target modules、rank、alpha、学习率和dropout都是实验变量；更高rank不必然适合复杂任务，解冻norm也不是通用处方。全量微调增加自由度和训练状态，可能改善，也可能过拟合或破坏通用能力，必须放在相同数据与预算下比较。架构改造只在证据指向容量或信息…

#模型调试#bad case分析#数据质量

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…具、权限和业务任务。还需要私有或内部评测集，覆盖真实问题类型、来源限制、异常和风险边界。固定集适合回归，动态挑战集用于防止长期过拟合。问题族、共享证据和改写应放在同一切分，避免训练测试泄漏。公开基准名称来自材料，正文不声称现有项目已经取得任何分数。过程指标为什么也会被刷？奖励引用数量，模型会堆无关来源。奖励步骤数，模型会拆成更多小动作。奖励少调用，模型会提前停止。奖励交叉验证，模型可能访问多个转载同一原文的页面。因此过程指标要验证语义：引用是否支持主张，步…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…平均样本。使用不同 Judge 或隐藏 holdout 复评。若只在训练 reward 使用的 Judge 上提升，可能是评估器过拟合。做对抗编辑：删除空洞背景、交换候选顺序、替换风格但保留事实，分数是否异常变化。把候选答案中的证据逐条遮掉，Judge 是否仍给高引用分。若会，说明它可能只看格式。这些检查发现的是风险信号，最终还要人工与真实证据确认。答案里的 Prompt Injection 会影响 Judge 吗？候选答案和网页证据都属于不可信输入。其中可能出…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…业务任务。只看平均总分，不看场景切片和长尾。用同一个 Judge 训练又验收。把更少调用一律当更好。评测集长期不变，系统针对静态题过拟合。另一种常见误区是先定一个漂亮指标，再补任务定义。正确顺序相反：先明确用户目标、风险和完成证据，再选择能反映它们的指标。 Agent 任务、轨迹与成本验收清单结果、过程、安全和资源都通过，才有资格比较版本。面试官会怎样连续追问追问一：为什么只看最终结果不够 Agent 可能蒙对、用错工具或发生越权。轨迹评估能定位规划、工具、状态、恢复…

#Agent#多智能体与评估#Agent 评估体系

面试题·模型训练· 海尔

LoRA 低秩分解 vs 全量微调怎么选?

匹配正文：…n预算，比较r为8、16、32、64以及Q/V、全attention、attention加MLP等组合，统一看目标指标、通用回归、过拟合、峰值显存和吞吐。风格任务还要做内容保持、风格一致、安全和人工盲测，不能只看训练loss。若rank更高没有稳定收益，应优先检查数据和目标模块，而不是继续扩大适配器。参数效率和数据效率也不是同一件事。LoRA少训练参数，不代表只需更少样本；低质量或覆盖不足的数据仍会过拟合。若基座量化后训练QLoRA，还要额外验证量化误差与rank的交互。合…

#LoRA#参数高效微调#低秩分解

面试题·模型训练· 字节

SFT vs 预训练:核心区别在哪?

匹配正文：…也通常不同，但没有某个训练方式的固定参数。 SFT 风险包括示范错误被直接模仿、长回答或固定措辞偏置、训练集复述、灾难性遗忘、领域过拟合、拒答失衡和模板泄漏。所谓“复读机”需要区分训练样本记忆、解码重复、数据重复和提示模板问题，再分别处理去重、数据多样性、正则、混合预训练数据、学习率与解码。 SFT 适合有高质量目标输出、希望稳定格式或行为、无需大量在线探索的任务，也是许多偏好优化或 RL 的初始化。复杂推理和安全对齐并非必须使用 RLHF/DPO；可选方法包括更好的示范与过…

#监督微调#预训练对比#复读机问题