多信号评分函数原理与陷阱

完整题目

在搜索引擎或推荐系统中，如何设计一个有效的评分函数（scoring function）来综合多个相关性信号并生成最终排序结果？

定义目标与约束：明确相关性、点击、转化、停留、多样性或时效性，并区分预测目标与展示约束。
构造信号：文本或向量相关度、质量、流行度、新鲜度、用户偏好和上下文等；检查缺失值、时间穿越和在线可用性。
统一尺度：BM25、余弦、概率和计数不能直接相加。可使用分位数、z-score、Platt 或 isotonic 校准，也可在学习排序模型中共同学习。
学习组合：数据少且需要解释时可用带约束线性或逻辑模型；有排序标签时可用 RankNet 或 LambdaMART；深度模型适合高维交互，但不是由“数据大”自动决定。
后置约束：在候选得分后处理去重、多样性、频控、合规与库存等硬约束，并记录每项调整便于归因。

一个线性基线可写为 s(x)=Σw_iφ_i(x)，但权重必须用标注、点击日志或实验估计。若日志由旧排序产生，应处理位置和选择偏差，避免把曝光机会误当相关性。

离线使用 NDCG、MRR、Recall、校准误差和分桶指标，同时测 P95 延迟与稳定性；线上用受控实验观察业务指标、长尾和护栏。评分函数要支持版本化、特征监控和回滚。最有效的函数不是最复杂的，而是在目标、偏差、约束和服务成本之间可验证地取得更好结果。

换一种问法，检查是否真正理解

场景切入

假设你在做电商搜索，用户搜‘手机’，我们有文本匹配分、销量、好评率、用户历史点击偏好等多个信号，你打算怎么把它们拧成一个最终排序分？

层层追问

排序时通常会用到好几个相关性信号……那这些信号量纲不一样，你怎么融合？……如果有些信号是文本分，有些是用户行为分，怎么让它们可比？

直球架构

设计一个评分函数，需要综合文本相关性、用户偏好、商品质量等多个信号，最终给出有序列表。你会怎么设计信号分层和融合策略？关键考虑什么？

练习口述回答 · 约90秒

设计评分函数时，我先把“要预测什么”和“必须满足什么”分开。相关性、点击、转化或满意度可以进入模型目标；库存、合规、去重和频控通常是硬约束或重排规则。

接着检查信号。BM25、余弦相似度、质量分和热度计数的尺度不同，不能直接相加。线性基线可以在校准或标准化后组合；有排序标签时可用 LambdaMART 等学习排序模型；高维交互足够强且收益能覆盖成本时再考虑深度模型。数据规模本身并不能推出必须使用某种模型。

点击日志还带有曝光和位置偏差。排在前面的内容更容易被点击，若直接训练，模型可能强化旧策略。需要随机流量、倾向校正或其他反事实方法，并确保特征在线可取、没有时间穿越。

上线前我会同时看 NDCG、MRR、校准、长尾分桶、P95 延迟和稳定性，再做受控实验。评分函数要版本化并保留可回滚路径。