匹配正文：…路径。它知道“标准答案长什么样”，却不知道哪条行动更好，也没有在环境反馈中练过取舍。相关训练材料把 Deep Research Agent 的训练拆成三层：Agentic CPT 注入 Agent 相关偏置，SFT 冷启动学习协议与基本轨迹，GRPO 再在环境反馈中优化策略。这三个阶段分别解决不同问题，不能因为名词热门就机械拼成一条训练流水线。所以面试官真正想问的是： CPT、SFT 和 GRPO 各自改变什么，为什么顺序通常这样安排，阶段之间如何设准入与退出标准，哪些…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

面试题·Agent

首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？

匹配标题与标签：首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？基于 187 条样本、1 个 epoch 和 10 个用例的首次记录，拆解 Deep Research SFT 的格式、策略与答案能力边界。 Agent Deep Research 数据构造与训练 Deep Research SFT Agent SFT 冷启动工具选择训练 Agent 训练复盘 Deep Research 面试题

#Deep Research#数据构造与训练#Deep Research SFT

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：…可能满足部分应用；但有限示范可能覆盖不足。是否需要额外CPT或RL，应由留出任务、工具环境、奖励可靠性与资源预算决定，不能断言只做SFT一定训不出来。本章借鉴Tongyi/AgentFounder公开工作，讨论一条CPT → SFT → GRPO示例路线，像培养一个调研员：先打底子(Agentic CPT):大量泛读,在脑子里建立「Agent 该怎么动」的直觉偏置。再学规矩(SFT 冷启动):照着优质范例临帖,学会规范的输出格式和工具调用。最后实战打磨(GRPO 强化…

#Agent#Deep Research#项目实战

项目实战·Agent

Deep Research Agent

匹配正文：…键信息保留率裁剪 vs 摘要、外部记忆与遗忘、指代消解训练数据 + 训练种子问题 → Teacher 轨迹 → 筛选与增强 SFT 冷启动学输出格式 RL 与负样本筛选的候选方案及风险验证 Loss Mask 掉 observation token 工程验证 + 评估为推理、并发与成本设计压测(KV Cache / continuous batching) 把 RACE、FACT 与 LLM-as-Judge 作为候选评测方法校验把失败样本回流到数据与策略验证学习…

#项目实战#Deep Research Agent

面试题·Agent· 小米

Agent 训练数据怎么获取?

匹配正文：答案要点区分冷启动数据与迭代优化数据的不同获取策略掌握合成数据生成的具体方法（模型蒸馏、Self-Instruct、多Agent互评）理解人类反馈的收集形式与质量控制说明环境交互数据的采集与回放机制能结合具体场景权衡不同数据策略的优劣 Agent训练数据获取的三类核心途径一、合成数据生成（解决规模化冷启动）主流方法：模型蒸馏：用GPT-4/Claude等强模型生成高质量轨迹，作为SFT监督信号 Self-Instruct演进：种子指令→模型生成→过滤去重→迭代…

#小米#Agent#Agent 训练数据

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…或模型打）中效率惩罚调用次数/轮数低解决稀疏奖励：对多步任务，引入密集过程奖励（每步是否正确推进） 5. 训练框架选择冷启动：SFT on 高质量轨迹 → 建立基础格式能力强化阶段： PPO：需训练reward model，适合数据充足、追求稳定性的场景 DPO：免RM训练，直接用偏好对（chosen vs rejected），适合快速迭代实际：先用DPO快速验证，再换PPO精细优化 6. 评估体系自动指标：工具调用准确率、任务成功率、幻觉率人工评估：有用…

#美团#Agent#Agent 训练链路

面试题·评估· 美团

Agent 训练 vs RAG 怎么选?

匹配口述回答：…，工具描述必须用[[Few-shot]]强化，参数校验用代码硬约束，不然模型很容易编造参数。学习策略分两阶段。第一阶段是模仿学习冷启动，数据来源包括人工标注轨迹、规则引擎历史日志，甚至用GPT-4[[蒸馏]]。训练用[[SFT]]加[[思维链]]监督，重点让模型学会什么时候调用工具、怎么填参数。数据配比上，成功轨迹占70%，失败恢复案例占30%，这样模型能学会纠错。第二阶段是在线强化学习，奖励模型分结果奖励和过程奖励，结果奖励看任务是否完成，过程奖励看格式合规、不重复调用。…

#美团#Agent#Agent 训练流程

项目实战·Agent

第 5 章:训练数据构造,种子 → 轨迹 → 增强

匹配正文：…,你已经理解了「优质训练数据是怎么造出来的」这条完整思路。下一章,我们把这些数据喂进去,讲多阶段训练:Agentic CPT → SFT 冷启动 → GRPO 强化学习,看一个通用模型怎么一步步被训练成真正会做调研的 Agent。参考资料 AgentFounder原论文:FAS/HAS与CPT方法 Tongyi官方:Agentic训练与负轨迹处理

#Agent#Deep Research#项目实战

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…以降低采样频率，把算力留给边界题；也可以提高任务难度，但不能为了制造差异故意引入错误标准。全错组先做归因。若是格式全错，应回到 SFT 冷启动；若环境全挂，应修基础设施；若任务合理但能力不足，可以分解难度或补监督数据。动态采样不是看到全同分就简单丢弃。失败分布本身是诊断资产，要保留原因和版本。组大小应该越大越好吗？更大的组可能覆盖更多策略，使组内统计更稳定。但长程 Agent 每条候选都要运行工具，组越大，采样成本、延迟和环境波动越高。如果 reward 本身噪声…

#Deep Research#数据构造与训练#Deep Research GRPO