匹配正文：…ing 数据怎么造训练与调优显存到底要多少、怎么估不同任务 LoRA 需要多少数据用 token-参数曲线找训练「拐点」 SFT 阶段怎么缓解灾难性遗忘微调后「复读机」怎么治评估 + 简历怎么量化评估微调效果(而不是靠感觉) 微调项目在简历里怎么写、面试怎么讲学习成果目标是能讲清「问题 → 数据方案 → 训练调优 → 评估证据」；只有亲自完成并留有记录的部分，才适合写进个人简历。适合谁想进大模型训练/算法岗、或被问微调就发怵的同学大模型微调实战知识点地…

#项目实战#大模型微调实战

项目实战·Agent

第 1 章:为什么需要 Deep Research

匹配正文：…控制层:max_steps 上限 + 提前终止判断(信息够了就收手) 训练层:让模型本身就「更会用工具、更知道何时收手」,这要靠 SFT + 强化学习,是后面训练章节的主题业内行话:面试问「你那个调研 Agent 怎么保证不跑偏」,能把这四层串起来讲(工具容错 / 上下文控常量 / 控制层兜底 / 训练层治本),而不是只说「我加了重试」,面试官立刻知道你真趟过长任务的坑。这条「问题在哪、从哪几层治」的结构化回答,是这一章最值钱的面试资产。 2.6 这 8 章怎么排(全书心智…

#Agent#Deep Research#项目实战

求职指南·求职

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…型应用开发岗核心产出更好的模型、训练策略、评估方法可上线的大模型应用、RAG/Agent 系统、业务流程自动化日常关键词 SFT、DPO、RLHF/GRPO、数据配比、loss、benchmark API、RAG、Agent、工具调用、检索、评估、延迟、成本面试重点数学基础、论文理解、训练细节、实验设计项目深挖、系统设计、工程取舍、真题口述简历筛选硕博、论文、竞赛、模型训练经历加分明显工程经验、项目深度、上线能力、业务理解更重要典型候选人算法/机器学习…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#求职#职业转型

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：…个策略分清。采样时的那份参数，每个 batch 刷新一次；正在训的那份，每一步都在变；还有一份参考策略，整段训练都冻结，一般就是 SFT 之后的那个模型。 ratio 是正在训的和采样时的比，KL 是正在训的和参考策略比。把它们混着用，是 GRPO 实现里最常见的 bug。排查实现的时候，我建议先看这一处。 KL 太大意味着模型漂离了 SFT 打下的底子，格式和基本行为会先出问题。 KL 也有管不到的地方。模型可以一直待在参考策略附近，但只押一两个动作，这叫塌缩。我们一共 …

#Agentic RL#GRPO#PPO

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配正文：… Bradley-Terry 偏好模型与 KL 正则化 RL 目标的重参数化，把偏好学习写成一个二元分类形式的损失工程链路更接近监督微调，但它对神经网络参数的优化仍然是非凸的，不能说“DPO 损失是凸的” 四维度对比维度 PPO DPO 算法原理 on-policy 采样后按奖励和优势更新策略在固定偏好对上提高 chosen 相对 rejected 的隐式奖励差实现复杂度高：rollout、奖励模型、价值函数、KL 和多模型显存都要管理较低：无需奖励模型与在线采样…

#DPO#PPO#RLHF

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…Cache、监控、灰度后端、SRE、平台工程、基础架构背景推理优化、模型架构应用算法/微调让模型更适合某个场景数据构造、SFT/LoRA、评估、偏好数据、实验对比算法、研究生、做过训练或评估的人模型微调、RLHF 与对齐这四类不是互斥的。一个小团队里,同一个人可能既做 RAG,又写 Agent,还要管评估和部署。转行准备时可以先选一个主战场,但要知道旁边三块会被追问。 RAG 工程师一天在做什么 RAG 工程的日常不是“把文档丢进向量库”这么简单。真实工作更像…

#求职#职业转型

求职指南·求职

研一/研二转大模型应用开发:三年怎么规划、来得及吗

匹配正文：… 搭建问答系统像教程复刻针对制度类问答 badcase,调整切块和混合检索策略,提升召回质量并记录错误分类了解 DPO 和 SFT 只写概念构造多模态问答偏好样本,比较 SFT 与 DPO 在格式遵循和答案质量上的差异写完简历后,按简历项目追问模板逐条问自己:“这个指标怎么来的? 为什么不用另一种方案? 如果数据规模扩大 10 倍怎么办? 如果用户问了权限外内容怎么办?”答不上来的地方,就是项目要补的地方。研究生要不要冲算法岗可以冲,但要诚实评估筹码。你如果有机…

#求职#职业转型

项目实战·Agent

第 5 章:训练数据构造,种子 → 轨迹 → 增强

匹配正文：…(Thought/Action/Final),工具返回的 Observation 被 mask 掉。这一个小细节,是 Agent SFT 训练里最容易被忽略、却最关键的技术之一,漏了它,模型会学着背搜索结果、编造工具返回。 🐛 跑不通看这里:这段纯标准库,不该报错;若对齐看着歪,是中文字符宽度问题,不影响逻辑。 📌 说清楚:这是教学示意。这只是演示 Loss Mask 的概念(哪些 token 算 loss)。真实训练里,要把轨迹 tokenize、构造 attentio…

#Agent#Deep Research#项目实战

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：…与监控题库、文档处理、评估章两条线都绕不开,算法线更深 Training / Post-Train 层用数据改模型本身的行为 SFT、LoRA、DPO/GRPO、工具调用轨迹数据模型微调题库、RLHF与对齐、训练章算法/研究生线选修,应用线按岗位这个分层的用处在于对号入座:开发/Java 后端线的杠杆在中间两层——把 Agent Harness 的工程骨架(权限、trace、失败恢复、成本)和 Data/Eval 的评估闭环做扎实,正好吃你的服务化和稳定性经验;算法…

#求职#职业转型

求职指南·求职

要不要做微调 / Post-Train 项目,轻量版怎么做

匹配正文：…调、和 RAG/Prompt 怎么取舍",而不是你手搓过多复杂的训练。真要做,做一个目标清晰、有评估、能说清收益的轻量 LoRA/SFT 就够了,不必一上来啃工业级 Post-Train。这一页帮你判断该不该碰微调,以及如果要做,轻量版的最小证据链长什么样。作者:吴师兄 | 适合:纠结要不要做微调项目、把 LoRA/SFT 写进简历的转行者 | 前置:知道 RAG/Agent 是什么,看过技术栈全景转应用开发岗,到底要不要做微调项目先给结论:看你投的岗位,多数应用开发岗…

#求职#职业转型

求职指南·求职

大模型岗位 JD 怎么读:招聘要求逐条拆解

匹配正文：…」调过 API、懂 prompt、做过一个完整应用 AI 编程最小实现系列「熟悉大模型训练原理」应用岗只需懂大方向:预训练/SFT/RLHF 各解决什么,不用会训基础概念扫盲,会讲即可「有 RAG 系统实践经验」能讲清检索链路每个环节的选型与权衡 RAG 完整教程 + 题库 RAG 模块「有 Agent 落地经验」做过多步工具调用的东西,能说清编排与失败兜底 30 行最小 Agent、Agent 项目实战「熟悉主流开源模型」知道 Qwen/Llama/De…

#求职#职业转型

求职指南·求职

领域八股速通:RAG / Agent / 评估 / 微调高频考点地图

匹配正文：…候该微调微调题量不大、门槛偏高,偏算法/研究生侧选修。面试官考它主要看两点:你分不分得清"该 RAG 还是该微调",以及懂不懂 SFT/LoRA/DPO 的基本取舍,而不是要你现场推公式。维度内容面试官在验证什么你能否判断微调 vs RAG 的适用边界、理解 SFT/LoRA/DPO 各解决什么、数据怎么准备先看哪个模型微调题库系统过一遍(应用线以理解为主) 代表题型 "什么时候微调什么时候 RAG""LoRA 原理和好处""SFT 和 DPO 区别""微调数…

#求职#职业转型

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…以降低采样频率，把算力留给边界题；也可以提高任务难度，但不能为了制造差异故意引入错误标准。全错组先做归因。若是格式全错，应回到 SFT 冷启动；若环境全挂，应修基础设施；若任务合理但能力不足，可以分解难度或补监督数据。动态采样不是看到全同分就简单丢弃。失败分布本身是诊断资产，要保留原因和版本。组大小应该越大越好吗？更大的组可能覆盖更多策略，使组内统计更稳定。但长程 Agent 每条候选都要运行工具，组越大，采样成本、延迟和环境波动越高。如果 reward 本身噪声…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·Agent

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：…。结构损坏、状态不可恢复、观察来源不可信或错误原因不明时，宁可排除，也不要为了凑数自动补齐。处理方式取决于失败原因与数据用途。SFT、RL rollout 和离线评测对同一截断样本的要求并不相同。截断轨迹分类与处理流程先识别终止原因与可恢复性，再决定重采样、续跑、分段或拒绝。 SFT 数据中的截断样本怎么处理？ SFT 需要明确监督目标。如果样本在 tool call 中间截断，目标格式已经损坏，应拒绝或从原始状态重新生成。如果 observation 完整但后续…

#Deep Research#数据构造与训练#Deep Research 截断轨迹

面试题·评估· 百度

LLM 准确性提升四大路径

匹配正文：…考虑帮助性与安全。一个方法在某一维提升，不代表其他维度同步改善。数据侧应处理重复、污染、标签错误和目标领域覆盖，并保留独立评测。SFT让模型学习任务格式与示范行为，但示范若带错事实，模型也会复制。继续预训练可补领域分布，却可能带来遗忘。每次数据变更都要在目标、通用与安全集合上做回归。偏好优化主要学习回答之间的相对偏好，可以改善帮助性、风格或拒答边界，但偏好标注若没有核验事实，不能自动提高事实准确率。RLHF和DPO的数据闭环不同，也没有无条件胜负。需要同时报告偏好胜率、事…

#数据质量#训练策略#推理优化

面试题·模型训练· 阿里

模型收敛怎么判断?

匹配正文：…t clipping是稳定手段，裁剪阈值也应通过基线与日志标定。验证侧要选择与任务相符的指标。语言建模可看验证loss或PPL，SFT还要看指令遵循、格式、事实性、拒答和多轮一致性；自动指标不足时加入固定盲样的人评。只有主要指标在多个评测点没有超过噪声的改善，并且训练仍稳定，才有理由认为继续训练的边际收益很低。早停可以保存最佳checkpoint，并在预先定义的评测节奏上观察耐心窗口。窗口长度、最小改善和评测频率取决于数据量、训练速度、指标方差和成本，不应背成固定epoc…

#模型收敛#损失曲线#早停策略

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配正文：幻觉与安全需要分层治理数据与后训练：做来源、许可、重复、隐私和有害内容治理；SFT 教会目标行为，偏好优化可改善帮助性与安全性。DPO 直接用 chosen/rejected 偏好对优化 policy 相对 reference 的概率，不训练独立 reward model，不能说“把偏好编码进奖励模型”。系统与证据：对知识密集或时效任务使用检索、数据库和工具，并要求引用可回溯；对不可信文档做提示注入隔离，工具使用最小权限、参数校验和审计。解码与模型：温度、top-p 和…

#幻觉检测#内容安全#RLHF

面试题·RLHF与对齐· 美团

环境训练 vs 监督学习怎么选?

匹配正文：…化和安全控制，不能预设必然失败。相反，在线策略也可能因探索、非平稳用户分布或奖励代理错误而退化。业务里还常见混合路线：先用示范做 SFT 或行为克隆，再用离线评估筛策略，在受控沙箱或小流量中做 bandit 或 RL 更新。若动作只影响当前推荐点击，bandit 可能够用；若动作会改变用户状态、库存或后续工具链，就要建模长期效应。偏好数据只表达比较关系，也不自动提供真实环境转移。工程验证决策前画清数据生成图：谁选动作、是否有探索概率、能否观测未选动作的结果、是否存在多步状…

#环境交互#在线学习#探索与利用

面试题·模型训练· 美团

LLM 训练哪步最难?

匹配正文：…重复比例必然导致退化，也不能给长文清洗固定成本倍数。代码占比变化可能影响能力和输出风格，但对话风格是否变得指令化还受到预训练混合、SFT和prompt影响。所有因果都要通过当前语料的配比与去重消融验证。长文数据还涉及文档边界、章节顺序、模板重复、时间戳和版权，不只是长度更长。代码数据要处理许可证、secret、自动生成文件、仓库级去重和基准污染。不同领域的数据质量定义不同，单一困惑度或质量模型很难覆盖。算力与系统也并非有钱就能解决。大规模训练仍有通信、容错、数值稳定和利用…

#数据工程#训练稳定性#超参数调优

面试题·项目与经历· 商汤科技

实习项目业务场景怎么讲?

匹配正文：…法，不应补一个看似合理的百分比。大模型项目还要说明为什么需要模型。若任务可由规则、检索或传统模型稳定解决，就不应默认上 LLM。SFT 的主要作用是让基础模型适配目标任务的行为、格式、风格和特定数据分布；它可能改变知识调用或推理表现，也可能造成遗忘和过拟合，不能固定称为“推理增强器”。知识实时性通常依靠权威数据或检索，精确金额和权限依靠确定性系统。结果要同时报告离线质量、线上任务完成、人工接管、风险事件、延迟和成本，并写清基线、样本、统计窗口和灰度范围。回答还应包含一个真…

#业务理解#需求分析#技术选型

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…型。policy是正在更新的策略，reward model根据偏好给回答打分，reference model通常是策略优化开始前的SFT模型或一个固定基线。Reference不需要参与梯度更新，它的作用不是提供新答案，而是为当前策略偏离基线的程度提供可计算参照。在PPO式RLHF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability估计相关项，但具体形式要…

#RLHF#Reference Model#PPO

面试题·模型架构· 百度

AI 论文怎么读?核心思想+创新点

匹配正文：…L等多种路径。启发是把“答案正确”和“推理token效率”分别建模，并验证长度约束带来的质量变化。 InstructGPT通过示范SFT、偏好排序训练奖励模型，再用PPO优化策略。RLHF奖励反映标注者对有用性、真实性、安全性等综合偏好，不应概括成只优化答案正确率。 DeepSeek-V3报告MoE、MLA、负载均衡和FP8混合精度训练。训练时FP8的格式、缩放、累积和通信方案不能直接等价为部署时权重量化；推理还需分别验证权重、激活、KV缓存精度、kernel支持和质量。面…

#论文阅读#技术追踪#学术敏感度

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配正文：…、旧策略概率、奖励、KL/clip 等训练控制，也会受组大小、奖励噪声、序列长度和策略陈旧度影响。不能把 GSPO 与 DPO、监督微调或某公司调度案例混写。选型应在相同 rollout、奖励和模型上比较训练稳定性、KL、clip fraction、奖励、人评/验证器质量与吞吐。

#策略优化#离线强化学习#监督学习结合RL

面试题·RLHF与对齐· 网易

On-policy、Off-policy 与 DPO 怎么选?

匹配正文：…显式训练奖励模型或在线从当前策略采样。DPO 论文报告其稳定且实现简单，不能笼统断言比 PPO 不稳定。当前对齐实践同时存在离线 SFT/DPO 与在线 PPO、GRPO、GSPO 等路线，因此“主流必然倾向 on-policy”需要按数据、是否可验证奖励、计算预算和分布更新速度具体判断。图解 On-policy、Off-policy 与 DPO 怎么选?图解

#PPO#on-policy#off-policy