页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「DPO」找到 52 条内容
按专题浏览 →匹配追问：GSPO与DPO（Direct Preference Optimization）的核心区别是什么，为什么美团场景可能更倾向GSPO GSPO中的"广义"具体体现在哪里，如何设计合适的参考策略或约束项 在实际业务中如何处理GSPO的离线数据分布与在线部署之间的差异 场景切入 假设一个可验证奖励任务对每个 prompt 采样一组完整回答，逐 token importance ratio 波动较大。你会怎样用 GSPO 的序列级比率与裁剪组织更新，并验证它是否改善训练稳定性？ 层层…
匹配口述回答：…是微调，也就是[[SFT]]。构造一批高质量分类数据，标签分布均衡，让模型内化这个任务。如果有资源，还可以用[[RLHF]]或[[DPO]]对输出非法标签的行为打低分。或者给每个标签分配一个特殊token，降低混淆。微调能提升基础能力，但成本高，而且标签一变就得重训。 所以实际落地我倾向组合用：SFT打底，让模型本身更可靠；解码约束保底线，确保输出永远合法；后处理兜底，处理边界情况。具体选型要看场景：标签少且快速验证，提示工程加后处理就够了；生产环境要求高可靠，必须上约束解码…
匹配口述回答：…控四个层面搭一套安全防线，而且每个层面都有适用场景和前提条件。 先说训练阶段。核心是行为对齐，我会用 [[RLHF]] 或者 [[DPO]] 把策略模型跟人类偏好对齐，避免输出有害或者不靠谱的Prompt。同时得做对抗训练，就是故意喂一些边缘案例、噪声输入，让模型见过这些异常之后，遇到类似情况更稳健。但这里有个前提，就是你的对抗样本得覆盖真实业务中的风险模式，比如客服场景里退款金额越权、订单状态篡改这类，样本不对路，训练了也白搭。另外，课程学习也很有用，从简单场景开始，慢慢过…
学习内容与项目面试，在同一条路上。