页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「训练闭环」找到 6 条内容
按专题浏览 →匹配标题与标签：…ent 轨迹为什么不能直接拿去训练，怎样筛出高质量样本？ 从真实环境执行、三阶段质量漏斗、Observation Mask 和小批训练闭环，讲清 Deep Research 轨迹怎样生成、验证与发布。 Agent Deep Research 数据构造与训练 Deep Research 轨迹生成 Agent 训练轨迹筛选 Teacher 轨迹数据 Observation Loss Mask Deep Research 面试题
匹配标题与标签：Agent 训练与迭代闭环怎么设计? 从任务契约、隔离环境、动作空间到 SFT/偏好优化、真实副作用评估与回滚的完整 Agent 训练闭环。 评估 Agent 训练闭环 工具调用 SFT DPO PPO GRPO 评估与监控 美团
匹配正文：核心区别：反馈信号和训练闭环不同 PPO（经典 RLHF 路线） 训练时通常涉及策略模型、冻结参考模型、奖励模型和价值函数/critic；具体实现可以共享部分骨干，但不能简单概括成固定的“三模型” 策略在线采样回答，奖励模型给分，价值函数估计优势，PPO 用裁剪目标更新策略，并通过 KL 约束控制它偏离参考模型的幅度 能直接优化标量奖励或可程序化验证的反馈，但采样与多组件协同让成本和调参难度都更高 DPO（直接偏好优化） 使用成对偏好数据 chosen/rejected，训练…
按学习路线查看教程、项目和面试题。