页面加载中…
搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Deep Research 截断轨迹」找到 3 条内容
按专题浏览 →匹配正文:Deep Research Agent 一次任务可能经历多轮搜索、访问、计算和摘要。 当轨迹达到最大 token、最大步骤或运行时间,系统可能在 final answer 之前停止。很多训练管道看到“没有最终答案”,就直接给零 reward,并把这条轨迹当作负样本。 这看起来合理,实际上可能教坏模型。 有些轨迹确实走错了,有些只是环境超时,还有些方向完全正确但预算用完。若全部受到同一种惩罚,模型反而会学着赶在截断前随便给出答案,研究质量未必提高。 相关训练材料明确提醒,这种处…
匹配标题与标签:…方案比较CPT、SFT与GRPO的作用和选择条件,理解组内优势、长轨迹奖励与动态采样边界;不实际运行训练 Agent Agent Deep Research 项目实战
…也不能把教程里举例的某个 N 当统一最佳值。 评估时应同时观察组内 reward 分布、有效组比例、轨迹差异和单位有效信号成本。 截断轨迹为什么是 Agent GRPO 的大坑? Deep Research 轨迹长,可能经过多次搜索、访问、计算和摘要。 若达到最大长度时还没有 final answer,系统通常给出低 reward。 但“没做完”不等于“做错了”。它可能前面的工具选择和证据收集都合理,只是预算不足。 如果这些轨迹一律得到强负优势,模型可能学到一个危险捷径:尽早…
学习内容与项目面试,在同一条路上。