粗排模型评估指标与陷阱

这道题我觉得其实是在问，粗排作为推荐系统漏斗的中间层，怎么平衡效率和效果？说白了，粗排要用精排十分之一甚至百分之一的时间，把90%以上的好内容捞出来。所以评估粗排，核心就是看它有没有做到这一点，同时别漏掉太多好东西。

先说离线指标。我一般从三个维度看。先说排序能力，用GAUC和NDCG@K，K取100到500，主要看粗排能不能把用户真正感兴趣的东西排到前面。这里有个关键，粗排的GAUC不需要接近精排，但粗排TopK和精排TopK的头部重叠度必须高，也就是粗排筛出来的东西，精排也觉得好，这个Jaccard系数很重要。然后看召回覆盖，我会看精排候选命中率，就是精排最终打高分的东西，粗排有没有漏掉，漏了就是大问题。另外还要看效率指标，像推理延迟P99、QPS、显存占用，这些是硬约束，通常要求延迟在10毫秒以内。

再说在线和系统级指标。业务指标比如CTR、人均时长、多样性，这些是最终效果。但粗排有个风险，就是它可能会过度收敛，只给精排送去最热门的东西，导致多样性下降。所以我会关注系统指标，比如精排有效计算率，粗排过滤掉了多少明显差的候选，让精排算得更高效。还有负向指标，就是粗排截断导致的本该曝光却没曝光的内容占比。

实验设计上，我通常注意三点。先说分层实验，粗排、精排、[[重排]]要分开，不然精排的迭代会污染粗排实验。然后看流量隔离，用用户分桶或者同请求内对比，更常用的是用户分桶。另外还要看长周期观察，因为粗排会影响内容生态，需要观察7到14天创作者侧的指标，比如新内容有没有被公平曝光。这里有个常见坑：离线用精排打分当label，但精排本身有bias，会导致粗排过度拟合精排的偏好，忽略了其他可能的优质内容。

所以我会更关注粗排的效率和精排命中率之间的平衡。比如在电商场景，用户搜'手机'，粗排要快速从几十万候选里筛出几百个，既要保证头部爆品不丢，又要给长尾新品留机会。如果离线只看GAUC，可能粗排就只学精排的偏好，结果新品永远出不来。所以我更倾向把精排命中率和效率作为核心指标，排序能力只要不差太多就行。

对了，还有一个延伸点，就是粗排的特征设计。粗排用的特征通常比精排轻量，比如只取用户统计特征和物品统计特征，不加实时行为序列。那怎么保证粗排学到的特征和精排一致，又不牺牲效率？这个其实挺有意思的，可以再深入聊。