完整题目
设计一个用于训练偏好感知对话系统的场景，描述如何构建数据、选择模型架构以及评估对话质量。
本文目录
场景：偏好感知的售后助手
目标不是让模型迎合点击，而是在政策正确、安全和隐私边界内，按用户明确选择调整解释深度、语言和交互方式。退款资格、金额与时效来自当前政策和订单工具，不能由“偏好”覆盖。
数据构建
- 对同一上下文生成候选，由标注者按事实/政策正确性、安全性、有用性和表达偏好分别判断；保留拒绝原因，不把多维标准过早压成一个分数。
- 点击、停留、复制和转化是受位置、延迟、曝光和用户意图影响的观察数据。只有在用途、同意、最小化与因果校正成立时才作为弱信号，不能直接等同偏好标签。
- 标注一致性要报告样本量、类别分布、置信区间和分歧处理。Kappa 阈值依任务和风险确定，没有通用
>0.6通过线。 - 主动采样可覆盖不确定或高分歧样本，也要保留常见、长尾和安全切片；“模型置信度接近 0.5”不是所有生成模型都可直接取得或校准的量。
模型与个性化边界
先用 prompt、检索和明确的用户设置建立基线；有优质目标回复时做 SFT。已有离线偏好对可评估 DPO；有可信标量奖励且需要在线探索时再评估 RM + PPO 或其它在线方法。DPO 不是 RM + PPO 流水线的第三阶段，数据噪声大也不会自动变成“改用 PPO”，因为奖励模型同样会学习噪声。
个性化优先使用用户可查看、修改和删除的显式设置或受权限控制的画像检索。把画像 embedding 永久拼进 prompt、按人群维护 LoRA 都会引入过期、越权、删除传播和群体刻板化风险，只有在有依据和独立收益验证时采用。
评估
离线按事实/政策正确、安全、偏好满足、拒答、长度和用户群切片，人工盲评需随机顺序并校准模型裁判偏差。困惑度与 distinct-n 不能代表对话是否正确。线上 A/B 预先定义任务成功、申诉/人工接管、错误退款等护栏和停止条件；推荐或转化提升不能替代政策正确性。Self-RAG 是检索与生成控制方法，不是偏好优化的替代算法。