Reranker 训练数据怎么构造?

核心原则

Reranker 要学习的是当前业务对“相关”的定义，训练候选必须接近线上召回器实际产生的分布。正负比例、难负样本占比和一致性阈值都需要按任务与损失函数调优，不存在通用的 1:3、30% 或 Kappa 0.6 门槛。

1. 先定义标签

• 明确直接支持答案、部分支持、仅主题相关和不相关的边界，并规定时效性、权限、来源质量和冲突证据如何标注。
• 多证据问题可以使用分级相关性或列表式标签；若最终训练采用二分类，再说明如何映射。
• 用双人标注、仲裁和抽样复审估计一致性；目标值应结合任务难度和误标成本设定。

2. 正负样本构造

• 正样本来自人工确认的支持证据、可靠点击或业务结果，但点击日志必须校正位置偏置和曝光偏置。
• 易负样本用于学习基本主题边界；难负样本应从 BM25、向量召回或旧 Reranker 的高分误召回中挖掘。
• 难负样本必须复核假阴性，避免把实际相关文档当负样本。批内负样本也要防止不同 query 共享答案导致误标。

3. 数据切分与去泄漏

按 query、文档来源、时间或用户场景切分训练集和评测集，避免同一问题改写、近重复文档或同一事件跨集合泄漏。线上日志应保留采样策略、召回器版本和曝光位置，便于重放。