搜索排序权重怎么A/B测试?

这道题我觉得核心是在问一个很实际的问题：怎么在线上用实验来动态调整搜索排序里各个因素的权重，同时保证效果和稳定性。本质上它是在解决两个东西的结合，一个是在线学习，比如多臂老虎机这种探索利用机制，另一个是严格的因果推断，也就是怎么通过A/B测试来验证权重变化到底有没有用。

先说一下实验设计。一个关键点是流量怎么分。我倾向用用户维度的哈希分桶，比如user_id取模100，确保同一个用户始终落在同一个实验组，这样用户体验一致。而且不同实验层之间要正交，比如权重实验层和UI实验层得互不干扰，不然效果混在一起没法归因。

对照组呢，基准组就用线上现行权重，实验组可以设三到五组不同的权重组合。样本量的话，得根据最小可检测效应来反推，通常需要万级DAU跑一到两周，而且得避开大促和节假日，保证流量平稳。

再来说权重怎么动态优化。初期我会用多臂老虎机，比如ε-greedy或者Thompson Sampling，快速探索哪些权重组合好。但这里有个坑：不同用户群体可能对权重的偏好不一样，比如新用户更看重相关性，老用户更看重时效性。所以进阶一点，我会用Contextual Bandit，按用户画像和查询意图分群，不同群体用不同的权重。特征是用户活跃度、查询长度、历史点击类目这些。

但光有探索还不够，还得在线学习，每小时或每天根据实时反馈微调权重。不过这里有个风险，权重抖动太大会让排序不稳定，用户会觉得结果忽好忽坏。所以上线前我会特别关注加一个约束，比如权重变化不能超过5%，防止抖动。

指标监控这块，我会分三层。短期看CTR、CVR、人均点击数，快速验证效果；中期看会话深度和搜索成功率，判断用户体验有没有变好；长期看7日留存和搜索频次，衡量业务价值。另外还有guardrail指标，比如延迟P99和空结果率，跌超5%自动熔断，防止线上事故。

这里我想提一个延伸点：多重检验校正。实验组一多，假阳性概率会上升，所以我会用Bonferroni或FDR校正。但校正太严又可能漏掉真实效果，怎么平衡其实挺值得深挖的。

最后决策上，实验组得统计显著而且业务显著才全量。全量后我会留5%流量长期对照，监控长期效应，因为有些效果短期看不出来。权重全量后沉淀为新基准，开启下一轮实验。所以我会把这个过程看成是一个持续迭代的闭环，而不是一次性的优化。