搜索大模型内容

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：📊 学习时长:60-75 分钟 🎯 完成后能力:比较Agentic CPT、SFT与GRPO在一条调研Agent训练路线中的作用、选择条件与边界，理解组内优势及长轨迹奖励风险；本章不实际运行训练 🔗 关联面试题:5 道(覆盖 5 个角度,见 Part 3) 🧭 这一章怎么读:训练流程为什么分阶段、每阶段解决什么、GRPO 的直觉和关键技巧的原理,本章都会讲,并带一个零依赖小实验帮你理解 GRPO 的核心。训练本身要 GPU、跑起来慢,所以这一章不真的跑训练,而用「概念…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Agent#Deep Research#项目实战

#Deep Research#数据构造与训练#Deep Research 多阶段训练

Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？

匹配正文：…esearch Agent 的训练拆成三层：Agentic CPT 注入 Agent 相关偏置，SFT 冷启动学习协议与基本轨迹，GRPO 再在环境反馈中优化策略。这三个阶段分别解决不同问题，不能因为名词热门就机械拼成一条训练流水线。所以面试官真正想问的是： CPT、SFT 和 GRPO 各自改变什么，为什么顺序通常这样安排，阶段之间如何设准入与退出标准，哪些项目可以跳过某一层，又怎样防止多阶段训练变成无法归因的昂贵流水线？一次 SFT 为什么往往不够？ SFT 的训练…

#Deep Research#数据构造与训练#Deep Research GRPO

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…样一组不同路径：有的先 Search 再 Visit，有的只看摘要就回答，有的查全证据却被长度截断，还有的格式正确但结论不完整。 GRPO 的关键做法，是把同组候选放在一起比较。高于组内基准的轨迹得到正优势，低于基准的轨迹得到负优势，再用这个相对信号更新策略。它没有凭空消除“基准”，而是用组内 reward 统计替代额外学习的价值网络。这个直觉很简单，真正落地却有许多边界：同组是否可比，reward 是否可信，全对或全错怎么办，截断轨迹能否算低分，组内优势又怎样传到长轨迹…

面试题·RLHF与对齐· 字节

PPO vs GRPO 怎么选?

匹配正文：核心判断 PPO和GRPO都属于带策略比率约束的在线或近在线策略优化。PPO通常训练策略和价值函数，用 GAE 或回报减价值基线估计优势，再通过裁剪限制单次更新。GRPO最早在 DeepSeekMath 提出，它对同一提示采样一组回答，用组内奖励的相对结果构造优势，省去独立价值模型，因而更适合可批量采样且奖励能区分答案的大模型推理任务。机制与边界 PPO目标一般包含裁剪后的 surrogate loss，还可加入价值损失、熵奖励与对参考策略的 KL 控制。价值函数尝试预测期…

#PPO#GRPO#RLHF

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…略下的序列似然形成序列级比率，并进行序列级 clipping、reward 和优化，使优化单元与序列级奖励更一致。论文报告它相较 GRPO 提升训练效率和性能，并明显稳定 MoE 模型的 RL 训练；这些是论文实验结论，不应扩展成所有模型、奖励与任务都必然更优。与 SFT 比较，SFT 对示范 token 做交叉熵，不经过环境奖励和策略比率；与 PPO 比较，PPO 通常使用 value/advantage 和裁剪目标，具体语言模型实现还可含 reference KL；与 …

#GSPO#策略优化#离线强化学习

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配正文：…可来自环境、规则或奖励模型通常是通常需要价值函数 clipped policy gradient，可另加对参考策略的KL控制 GRPO 同一问题的一组在线样本与奖励是不需要独立critic 用组内相对奖励构造优势，再做受约束策略更新 DPO 离线chosen/rejected偏好对否不需要提高chosen相对rejected的参考校正对数概率差 PPO和GRPO不是只能“从人类偏好学习”，奖励也可程序化验证。PPO是否有独立奖励模型、各角色是否共享骨干，取决于反…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配正文：核心判断 PPO、GRPO和DPO都能用于语言模型后训练，但数据闭环不同。PPO用当前策略采样，再依据奖励与价值估计更新；GRPO同样依赖在线或近在线采样，却用同一提示下的一组回答构造相对优势，省去独立价值模型；DPO直接消费偏好对，在参考策略约束下优化胜负回答的相对对数概率，训练阶段不需要单独拟合奖励模型或从当前模型做 rollout。机制与边界 PPO的核心是 clipped surrogate objective，通常还配价值函数、GAE、KL惩罚和熵项。它能利用标量…

#RLHF#PPO#DPO

项目实战·强化学习

RL 强化学习图解

匹配正文：PPO / DPO / GRPO 概念图解 + 损失函数 + 训练练习 + 事实自检本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。 PPO / DPO / GRPO 不止背概念——从损失推导到待验证训练练习强化学习对齐是大模型训练岗的核心考点。面试官最烦的是「只会背 PPO/DPO 是什么」；他想要的是你能讲清损失函数怎么来、训练怎么跑、三者怎么选。这部分计划分别拆解 PPO、DPO、GRPO：概念图解、损失推导、…

#项目实战#RL 强化学习图解

#Deep Research#数据构造与训练#Deep Research 截断轨迹

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：…第三种是轨迹分段。将长任务按阶段或摘要 checkpoint 切成可验证片段，分别训练局部决策和最终综合。材料提到 ReSum-GRPO 等长 horizon 方向，但正文不声称已有生产验证。第四种是拒绝。结构损坏、状态不可恢复、观察来源不可信或错误原因不明时，宁可排除，也不要为了凑数自动补齐。处理方式取决于失败原因与数据用途。SFT、RL rollout 和离线评测对同一截断样本的要求并不相同。截断轨迹分类与处理流程先识别终止原因与可恢复性，再决定重采样、续跑、…

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配正文：…是“监督锚点 + 纯离线 RL”框架。核心思想对同一 prompt 采样一组序列，用组内奖励构造相对 advantage。与 GRPO 常用逐 token importance ratio 不同，GSPO 对整条序列计算长度归一化的似然比，例如： s_i(theta)=exp((1/|y_i|) * sum_t log(pi_theta(y_it|x,y_i,<t)/pi_old(y_it|x,y_i,<t))) 再在 sequence level 做 clipping，…

#策略优化#离线强化学习#监督学习结合RL

面经·项目面试

评分端知道的答案，别顺手放进 Agent 的题面

匹配正文：…供允许的可见订单号，文字中正常出现该号；同时存在多个可见来源时，专用可见区域优先的行为也与原代码一致。还要接着看训练数据行。原 GRPO 构造函数把两条首轮消息放在 prompt 中，同时把任务、环境、评分文件路径和其他后台信息放进 extra_info。两部分存在于同一行记录，却交给不同的消费端。检查整行 JSON 时搜到任务编号或环境路径，不应马上判定题面泄漏。应单独取出 prompt，核对里面有哪些消息、实际渲染了什么，再回到适配器查这些材料怎样被使用。后台能找到环…

#Agent训练#输入边界#提示词

#项目实战#Deep Research Agent

Deep Research Agent

匹配正文：…r / Python 通过统一网关记录输入、输出和错误；摘要、缓存、重复检测与提前终止都需要单独验证。若尝试 CPT、SFT 或 GRPO，也必须说明数据来源、基线和失败条件，不能把教学路线写成已完成成果。继续读完整版 · 第 2 章 ReAct → IterResearch → 用风险场景检验设计长程任务上下文持续增长教学风险演练:如果把每次搜索结果和网页正文都原样追加到上下文，随着工具调用增加，输入会变长，早期临时信息也可能干扰后续判断。具体在第几轮触发限制，取决于…

#Agent#Deep Research#项目实战

第 1 章:为什么需要 Deep Research

匹配正文：…几章推理 demo 都能在你本机跑起来。第 5–6 章(把模型训得会做调研):数据构造 → 多阶段训练(CPT / SFT / GRPO)。讲透每一步的思路与原理,帮你建立完整认知。第 7–8 章(上线 + 评估):工程化上线(推理优化 / 并发 / 成本)→ 评估闭环(怎么定义「好」、怎么自动打分、怎么形成迭代飞轮)。你不必一口气全读完:想先跑通一个调研 Agent,读完第 1–4 章就够动手了;想顺着「数据 → 训练 → 上线 → 评估」走完整条链路,再往后读。 �…

面经·项目面试

Agentic RL 项目，Reward 到底怎么设计？面试官会怎么问？

匹配正文：…款"，然后关单。可是我去看沙盒里的退款台账，里面是空的，一分钱没退。当时的奖励是让大模型看着回复打的，这条轨迹拿了 0.78。 GRPO 只认分数高低，几千步之后模型就学会了：话说漂亮，事不用做。这就是大家常说的 reward hacking。 Verifier 就是训练里负责判卷的那个程序，它要保证的只有一件事：分数必须来自事实。它拿到一条轨迹，会先去查模型实际做了什么，回复里怎么说的放到后面再看。要查的是这几样：调过哪些工具、沙盒台账里真实写入了什么、这条订单的真值是…

#Agentic RL#Verifier#Reward

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…好的模型、训练策略、评估方法可上线的大模型应用、RAG/Agent 系统、业务流程自动化日常关键词 SFT、DPO、RLHF/GRPO、数据配比、loss、benchmark API、RAG、Agent、工具调用、检索、评估、延迟、成本面试重点数学基础、论文理解、训练细节、实验设计项目深挖、系统设计、工程取舍、真题口述简历筛选硕博、论文、竞赛、模型训练经历加分明显工程经验、项目深度、上线能力、业务理解更重要典型候选人算法/机器学习/科研背景后端、Java…

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…语气、格式、工具调用不稳定数据怎么构造,为什么不用 Prompt 解决偏好数据两个答案哪个更好标注规范、DPO/RLHF/GRPO 基本理解评估体系模型改了到底有没有变好指标、评估集、人工复核、线上反馈失败样例分析为什么新模型某些场景退化数据覆盖、过拟合、灾难性遗忘研究生和算法背景更容易切这个方向。后端同学也能靠应用项目逐步靠近,但不建议一开始就把自己包装成微调专家。先讲清 RAG/Agent 场景,再说明你理解什么时候需要微调,会更可信。读 JD 时…

#Agent#Deep Research#项目实战

第 5 章:训练数据构造,种子 → 轨迹 → 增强

匹配正文：…token 算 loss)。真实训练里,要把轨迹 tokenize、构造 attention mask、对接训练框架(SFT / GRPO),工程上复杂得多;这个小实验只为让你看懂「为什么这么做」。 🧭 你刚才看到的,等于真实系统的什么? 你手标的 model/tool = 真实训练里的 loss mask(哪些 token 参与梯度)。真实系统会自动按角色标记、按模型的 tokenizer 切分。理解了「为什么 mask observation」,你就抓住了 Agent …

#Agent#Deep Research#项目实战

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：…t 定律:指标一旦成为优化目标就会被刷,模型学会迎合而非真好体现在 Agent 上:如果你拿某个评估指标去训练(回扣第 6 章 GRPO 的 reward),模型会专门学着迎合这个指标,而不是真的变好。比如: 你奖励「引用数量多」,模型就堆砌无关引用。你用某个 Judge 打分当 reward,模型就学会迎合那个 Judge 的偏好(比如写得又长又啰嗦),哪怕内容没变好。这其实就是第 6 章说的 reward hacking 在评估侧的镜像。怎么防:多维度评估(不让单一…

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：…章两条线都绕不开,算法线更深 Training / Post-Train 层用数据改模型本身的行为 SFT、LoRA、DPO/GRPO、工具调用轨迹数据模型微调题库、RLHF与对齐、训练章算法/研究生线选修,应用线按岗位这个分层的用处在于对号入座:开发/Java 后端线的杠杆在中间两层——把 Agent Harness 的工程骨架(权限、trace、失败恢复、成本)和 Data/Eval 的评估闭环做扎实,正好吃你的服务化和稳定性经验;算法/研究生线则往下沉,把 D…

要不要做微调 / Post-Train 项目,轻量版怎么做

匹配正文：…能拿出实验证据说明收益和代价研究生算法向(想进模型团队) 高在应用算法基础上再往 Post-Train 深水区走一点:DPO/GRPO、对齐、训练数据设计,最好有一段相关实习或课题平台 / 推理工程岗低重点在服务化、推理优化,微调只需知道产物怎么部署,不必自己训读这张表的关键:如果你是奔着 RAG/Agent 应用开发去的,微调是选修不是必修;真正非做不可的是应用算法和研究生算法向。别看别人简历上有微调就焦虑,先看你们投的是不是同一类岗。何时该微调,何时该用 R…