匹配正文：…层面则是独立验证集上的目标能力不再稳定提升。训练loss趋平不等于模型已经泛化，验证指标变差也不是收敛，而可能是过拟合、数据漂移或评测噪声。损失曲线应看移动平均、不同数据桶和多个评测点的趋势，而不是要求波动小于某个固定比例。大batch、混合数据、课程采样和学习率变化都会改变局部波动。若训练loss突然上升，要联查数据batch、学习率、精度溢出和恢复checkpoint；若缓慢下降但验证任务停滞，可能是目标与业务指标不一致。梯度范数适合做异常诊断，但没有跨模型通用的正常…

#模型收敛#损失曲线#早停策略

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：SFT过拟合最可信的信号，是训练集目标持续改善，而独立验证集的loss或目标任务指标在超过评测噪声后持续变差。只看训练loss低不够，单个验证点反弹也不够。验证集合必须代表真实使用分布，并在用户、文档和近重复层面与训练集隔离，否则分叉可能被泄漏掩盖。 PPL通常是平均交叉熵的指数变换，在相同tokenization和口径下与loss单调对应，并不天然比loss更敏感。生成任务还要看格式成功率、事实性、指令遵循、拒答、长度和人工偏好。不同长度或不同tokenizer的PPL不能…

#过拟合识别#训练监控#正则化策略

面试题·项目与经历· 百度

大模型 vs 规则引擎怎么选?

匹配正文：…；若大量人工时间消耗在理解自然语言和整理候选，大模型可作为前置层。规则频繁变化也不必自动换模型，可能只需更好的决策表和版本管理。评测会分别测字段抽取、候选召回、规则执行正确率、端到端决策、延迟和高风险错误，并保留每次输入、证据、模型版本和审批记录。这样既利用大模型的灵活性，也让确定性长链留在可验证系统中。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#技术选型#规则引擎#大模型决策

面试题·项目与经历· 美团

Coding/GUI/Search 商业化先后

匹配正文：…行的修改。所有变更通过权限限制、依赖锁定、测试、静态检查和人工合并。敏感仓库还要控制代码是否离开组织边界，并审计模型上下文。商业评测看任务完成时间、建议接受率、返工、缺陷、安全问题、开发者满意度和单位成本，同时与无助手基线随机或交叉比较。只有净收益在真实项目中稳定存在，才扩大范围。这个证据链比引用无来源的效率百分比更可靠。

#Agent落地#代码生成#GUI自动化

面试题·多模态· 快手

固定间隔vs关键帧怎么选？

匹配正文：…音频事件或检索query自适应选片段，适合长视频问答，但成本与召回风险更高。选型先明确目标是分类、检索、摘要、问答还是事件定位。评测同时看事件召回、冗余率、时间覆盖、模型token成本和端到端质量。视频时长、首尾帧价值及互动热区都属于业务先验，不能写成通用规则。

#视频理解#时序采样#关键帧提取

面试题·项目与经历· 京东

面试反问怎么问才加分?

匹配正文：…数据更新，团队怎样收集失败样本并决定下一轮优先级？这比直接问是否使用某个向量库更有信息。若对方说召回问题多，再追问文档版本、权限、评测集和引用支持率；不会预设所有RAG都必须先做Entity Linking。第二类问题可以聚焦技术决策：在准确率、延迟、成本和安全冲突时，团队最近做过什么取舍，关键方案如何通过离线与线上验证？回答能够反映团队是否有真实基线、回滚机制和评测文化。规则、检索、微调或Agent都可能是答案，不需要先断言纯RAG必然失败。第三类问题关注岗位边界：这个…

#面试技巧#职业规划#团队沟通

面试题·模型训练· 阿里

模型收敛必须用验证集吗？

匹配正文：…报告。数据少时可用交叉验证、时间切分或嵌套验证，但仍要保留未见证据。大规模预训练同样常持续监控 held-out loss、下游评测和数据污染，并非通常不使用验证集。若成本限制无法频繁全量评测，可用稳定的 held-out 样本、在线探针和分层小集，但不能完全依赖训练 loss。 Adam 的二阶矩是梯度平方的指数移动平均，用来缩放更新，不是收敛证明。更可靠的停止依据是预先定义的 token/算力预算、held-out 指标平台或恶化、更新量、任务质量和多次评测的一致结果。

#过拟合#早停策略#模型泛化

面试题·项目与经历· 360

扫描PDF怎么解析内容?

匹配正文：… 同类的通用页面元素检测器。后处理要做语言模型纠错、词典与正则约束、跨页合并、重复页眉去除，同时保存原图坐标和置信度以便回溯。精度评测应分别看字符错误率、词错误率、区域检测 mAP、表格结构指标、字段准确率和整页阅读顺序，按文档类型切片，而不是只报一个 OCR 准确率。

#文档智能#OCR#版面分析

面试题·模型训练· 阿里

SFT 硬件资源怎么配?

匹配正文：…不能保证消除。最终应先在单机小规模 profile 峰值显存和 tokens/s，再按通信效率扩展，并预留 checkpoint、评测和故障恢复资源。

#SFT#分布式训练#GPU显存计算

面试题·模型训练· 字节

SFT 复读机问题怎么解?

匹配正文：…或整段循环，并且不能在合适位置结束。先要把它与任务本身要求的重复区分，例如代码中的变量复用、歌词结构或用户要求逐字引用都不算故障。评测时可以统计重复片段、连续相同n-gram、异常长度和EOS缺失，再结合人工样本确认。训练数据重复会改变经验分布。同一文档或模板反复出现，相当于在损失中获得更高权重，模型更容易记住这些序列，也会浪费训练预算。近重复还可能跨越训练与评测集合，制造虚高指标。但这并不意味着只要有重复数据，模型就一定在解码时进入循环；是否循环还受到上下文、模型容量、训…

#监督微调#复读机问题#训练数据

面试题·模型训练· 美团

LLM 训练哪步最难?

匹配正文：…关，很多问题到训练后才暴露。数据难在错误隐蔽且影响链长。重复会重加权样本并浪费预算，低质与有毒内容会进入模型行为，近重复还会污染评测；许可证、隐私和删除请求需要数据血缘。过滤过强又会删掉方言、专业术语和长尾能力，因此不是清洗越多越好。不能说某个重复比例必然导致退化，也不能给长文清洗固定成本倍数。代码占比变化可能影响能力和输出风格，但对话风格是否变得指令化还受到预训练混合、SFT和prompt影响。所有因果都要通过当前语料的配比与去重消融验证。长文数据还涉及文档边界、章节…

#数据工程#训练稳定性#超参数调优

面试题·项目与经历· 京东

成就感经历 STAR 回答

匹配正文：…、协调和验证中的真实动作】；说明关键取舍、被否决方案及个人与团队边界。 Result：结果为【可核验产物或指标】，证据来自【提交、评测、监控、证书或用户反馈】，观察窗口【】。 Reflection：最有成就感的原因是【能力变化或实际价值】，仍可改进【】，下一次会【】。成果不一定需要大公司或夸张收益。修复一个影响用户的缺陷、完成一项研究复现、推动团队按期交付、从失败中建立可靠流程，都可以成为好案例。不得替候选人补写京东、技术负责人、项目周期、样本量、准确率或节省成本。每个数字…

#行为面试#STAR法则#自我认知

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…励尺度、clip 范围、熵和 off-policy 程度；若配置了 reference/KL 正则，再监控对应 KL，并用独立任务评测确认稳定性。

#GSPO#策略优化#离线强化学习

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…的含义就会改变。 beta控制奖励收益与偏离基线之间的权衡，没有跨模型通用范围。它需要结合实际KL、任务奖励、语言质量、拒答和安全评测调节。KL突然上升可能来自学习率、奖励尺度、prompt分布或实现错误，不能只用一个阈值触发同步reference，更不能把自动同步写成标准RLHF机制。在新的训练迭代中，团队可以选择把经过完整验收的新策略作为下一轮SFT或RLHF的起点，并重新冻结一个reference。也可以因为模型架构、tokenizer或目标分布变化而重新定义base…

#RLHF#Reference Model#PPO

面试题·推理优化· 美团

可视化怎么诊断训练问题?

匹配正文：…ep、有效 token、学习率、梯度累积和数据版本。训练损失下降而验证损失上升可能是过拟合，也可能来自验证分布变化、数据泄漏修复或评测噪声；训练与验证都不降则检查数据、实现、容量和优化。梯度直方图要结合每层参数范数、激活、更新量、混合精度缩放和累积步数解读。底层梯度比顶层小很多并不自动意味着给底层更小学习率，那会进一步减小更新；也不能仅凭单次比例反向给更大学习率。更可靠的量是相对更新，如学习率乘梯度范数再除参数范数，并观察多个 step 的中位数、分位数和方向稳定性。梯度接…

#训练可视化#过拟合诊断#梯度消失/爆炸

面试题·推理优化· 快手

视频切帧怎么平衡效率与信息?

匹配正文：…支持多种 codec，但不是所有设备和部署的必选项。流水线可异步 demux、批量解码、尽量减少 CPU/GPU 拷贝并缓存特征。评测同时看目标事件或答案证据 recall、视频级任务指标、所用帧数、解码时间、GPU/CPU 利用率、端到端延迟和成本，按视频长度、运动强度与 codec 切片。

#视频预处理#关键帧提取#运动检测

面试题·模型训练· 字节

数据难度分层怎么验证?

匹配正文：…分数，但动态更新会引入非平稳采样和额外计算。数据质量与难度也要分开，错标、乱码或不可回答样本的高loss不代表有教学价值。若目的是评测题库分级，还要防止用同一模型既打分又被评测，否则模型偏好会固化进难度标签。工程验证建立人工锚集并按维度标注，测自动分数与人工等级的秩相关、分类一致性和分歧样本。对不同模型、随机seed和checkpoint重算，报告层间分布、稳定率与迁移性。训练实验至少比较随机、从易到难、从难到易和按分数重采样，固定总token和更新次数，记录早期速度、最…

#数据难度分层#数据质量评估#课程学习

面试题·多模态· 快手

视频切帧优化：语义+动态采样

匹配正文：…例子。其论文模型使用 CLIP 帧特征并做时间与空间池化；数据构建阶段提到 Katna 关键帧，不等于推理主干学习了自适应选择器。评测应报告任务准确率、事件覆盖、重复率、帧数、视觉 token、延迟和关键事件漏检。

#视频理解#时序采样#多模态预训练

面试题·多模态· 快手

多模态 vs 纯文本大模型怎么选?

匹配正文：…我的选择应由三类证据决定：目标岗位真实处理什么输入与输出，我过去在哪类任务上投入最多，以及我能否用一个项目证明自己理解数据、模型和评测，而不只是会调用现成接口。如果目标是短视频理解、直播内容治理、商品图文检索或视频问答，我会倾向多模态；如果目标是代码、搜索、Agent、文档处理或语言推理，纯文本模型仍可能是更直接的主线。具体岗位边界要以公开职位说明和面试信息为准，不能把一家公司的内部数据规模、训练计划或技术路线当成已知事实。两条路线的真实差异维度纯文本模型多模态模型…

#多模态大模型#纯文本大模型#技术选型

面试题·模型训练· 百度

LoRA 低秩分解的数学原理是什么?

匹配正文：…RA论文的实验也不能推出所有模型都应只改Q和V。较稳妥的做法是从少量候选开始，对模块集合、rank和学习率做受控消融，并保持数据和评测完全一致。普通LoRA只是低秩训练，并不自动把基座权重量化。QLoRA把冻结基座以低比特形式加载，再训练LoRA适配器，还涉及量化格式与分页优化器等设计。回答单卡容量时必须写明是哪一种方案、权重精度、序列长度和激活检查点，不能把QLoRA结果套给普通LoRA。相对全量微调，LoRA的优势是减少可训练状态、便于保存和切换适配器，并在合适任务上…

#LoRA#参数高效微调#低秩分解

面试题·RLHF与对齐· 阶跃星辰

TRL Agent 组件交互机制

匹配正文：…线 PPO 阶段通常冻结并只提供分数。工具奖励优先使用可执行正确性、引用支持、格式和成本约束，模型评审只是有偏信号之一，并通过独立评测检查 reward hacking。

#TRL#PPO#Agent

面试题·模型训练· 百度

训练数据怎么采集和预处理?

匹配正文：…滤，同时保留过滤原因和抽检样本。在切分后执行跨训练/验证/测试去重与 benchmark contamination 检查，避免评测污染。使用目标 tokenizer 分词，统计 token 长度、截断、字符覆盖、域和语言分布，再按目标能力设采样混合。代码、网页、书籍比例和课程顺序都没有通用配置；应在固定 token 预算下做消融，观察目标任务、记忆、毒性和域覆盖。Wikipedia 等来源也不能直接标成“事实准确”，质量标签只代表筛选信号。最终产物需可追溯、可删除、可…

#数据工程#数据清洗#去重策略

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配正文：…功率、KL、长度分布、格式合规、拒答率与算力成本。DPO要检查偏好对覆盖和隐式长度偏置；PPO与GRPO要画 reward 与独立评测的关系，观察组内奖励方差和策略漂移。只有同一质量门槛下的端到端结果，才能决定单用哪一种或是否分阶段组合，不能把某条 DPO 后接 PPO 的流水线写成默认生产标准。还有一个判断不能漏：同样叫离线偏好数据，若候选来自很旧的策略，DPO的覆盖问题会更明显；若在线方法不断采样新答案，则要额外计算标注或验证器调用的成本。图解 PPO vs GRPO…

#RLHF#PPO#DPO

面试题·多模态· 得物

多模态大模型怎么理解？

匹配正文：…统只能引用官方披露能力，不能推断其从零端到端训练或内部连接方式。应用包括检索、问答、OCR、文档理解、视觉定位和Agent感知。评测需同时看感知、grounding、推理、幻觉、延迟和安全。图解多模态大模型怎么理解？图解

#多模态融合#视觉语言模型#对比学习