匹配正文：…真正调用工具时，直接续写一段像搜索结果的文字。看起来信息丰富，实际上把“使用工具”学成了“模仿工具”。所以面试官真正想问的是： Observation Loss Mask 到底遮住什么，为什么只改 attention mask 不够，怎样把角色边界映射到 token，如何处理模板、截断、工具错误和多轮调用，又怎样证明 Mask 没有串位？先分清三个概念：输入、目标与可见性用户问题是模型做决策的前提。工具 observation 也是前提。模型必须看见搜索结果，才能判断…

#Deep Research#数据构造与训练#Observation Loss Mask

面试题·Agent

Teacher 生成的 Agent 轨迹为什么不能直接拿去训练，怎样筛出高质量样本？

匹配正文：…阶动作合成可以利用次优或错误步骤帮助模型学习决策，但前提是错误原因明确、正负分支可比较，而不是把整条脏轨迹直接喂给模型。为什么 Observation 要做 Loss Mask？工具返回不是模型应该生成的内容。训练时如果让 observation token 参与预测损失，就等于要求模型记住或复述环境返回。模型可能学会在没有调用工具时生成一段像搜索结果的文本。因此训练材料强调，对 observation token 做 loss mask，只让模型自身应产出的行动、结…

#Deep Research#数据构造与训练#Deep Research 轨迹生成

项目实战·Agent

第 5 章:训练数据构造,种子 → 轨迹 → 增强

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：…:通用大模型直接拿来当 Agent,为什么「不会用工具、不知道何时收手」,得专门造数据训 ✓ 看懂一条「训练轨迹」长什么样,以及 Loss Mask 为什么要「mask 掉 observation」(配可跑小实验) ✓ 掌握数据流水线全貌:种子数据 → 轨迹数据(Teacher 生成)→ 增强 → 质检 → 格式标准化,每一环在干嘛 ✓ 理解种子数据的来源构成、数据增强的几类思路、自动质量筛选,以及「数据分布」为什么要均衡 ✓ 建立「数据质量 > 数据数量」的判断,以及 Ag…

#Agent#Deep Research#项目实战

项目实战·Agent

Deep Research Agent

匹配正文：… + 训练种子问题 → Teacher 轨迹 → 筛选与增强 SFT 冷启动学输出格式 RL 与负样本筛选的候选方案及风险验证 Loss Mask 掉 observation token 工程验证 + 评估为推理、并发与成本设计压测(KV Cache / continuous batching) 把 RACE、FACT 与 LLM-as-Judge 作为候选评测方法校验把失败样本回流到数据与策略验证学习成果理解一个「执行框架 → 训练 → 评估」全链路的研究 Age…

#项目实战#Deep Research Agent

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：…了基座直接RL的推理任务案例，同时也暴露可读性等问题，不能把其结果直接等同于长程调研Agent。回扣上一章:SFT 阶段会用到 Loss Mask(只对模型该生成的 Thought/Action/Final 算 loss,mask 掉 observation)。忘了的话翻第 5 章的 Loss Mask 小实验。 🛠️ 跟着做:一个零依赖的 GRPO「组内相对优势」小实验 GRPO 是三阶段里最难懂的一环。它的核心思想其实一句话能说清:同一个问题,采样一组答案,谁比这组的…

#Agent#Deep Research#项目实战

面试题·Agent

首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？

匹配正文：…，用一小批针对性数据检验“缺少动作边界样本”这个假设。若工具混淆矩阵按预期变化，再逐步扩大。若格式都无法稳定复现，优先检查模板、Loss Mask、数据角色和训练链路。若训练 loss 正常但行为完全不变，再检查有效监督 token、样本多样性和模型容量。超参数当然重要，但它不能修复错误标签、虚构 observation 和严重偏斜的数据分布。诊断顺序应从可证伪的错误原因开始，而不是把所有问题归给“训练不够”。规划数字为什么不能当成训练结果？首次记录里还写了从当前阶段…

#Deep Research#数据构造与训练#Deep Research SFT

面试题·Agent

Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？

匹配正文：…的处理也不同。SFT 中它作为可见但不参与 loss 的条件；RL 中它由环境实时返回，影响后续行动和 reward。不能把静态 observation 当成环境执行已经发生。复用资产的正确方式，是保留任务、来源、证据与血缘，再为每阶段生成符合目标的数据视图。这样既减少重复劳动，又不会混淆训练信号。如何判断问题出在哪个阶段？如果模型经常生成无法解析的调用，先查 SFT 数据格式、模板、Loss Mask 和 tokenizer，不要先改 GRPO 奖励。如果格式稳定但…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

面试题·Agent

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：…理？ SFT 需要明确监督目标。如果样本在 tool call 中间截断，目标格式已经损坏，应拒绝或从原始状态重新生成。如果 observation 完整但后续 assistant 输出不存在，这段 observation 只是条件，没有对应学习目标。不能自动编写一个 final answer 冒充 Teacher 输出。如果轨迹可以切到一个完整的局部决策，例如错误返回后选择换源，可以构造独立任务，但任务描述与目标要重新定义并审核。 Loss Mask 也要重新计算。裁…

#Deep Research#数据构造与训练#Deep Research 截断轨迹

面试题·模型训练· 阶跃星辰

LlamaFactory 怎么构造训练数据?

匹配正文：…ant/system 对齐。训练前还要选择与基础模型匹配的 chat template，检查角色交替、特殊 token、tool/observation、图片占位与 loss mask。数据能被加载不代表语义正确，应抽样渲染最终 prompt，验证 chosen/rejected 共享同一上下文并防止 train/eval 泄漏。

#LlamaFactory#数据格式#SFT