完整题目
如何用 A/B 测试评估搜索排序权重变化？随机化、样本量、指标、污染和动态策略分别要怎样处理？
本文目录
先写实验契约
A/B 测试验证一个预先定义的排序策略变化是否导致用户可观察结果变化，不等同于在线学习。实验前冻结候选、权重、模型和页面版本，写明假设、随机化单位、目标人群、主指标、护栏、MDE、分析方法、停止条件和排除规则。实验中每小时改权重会破坏固定 treatment 的解释，除非从一开始研究的就是已定义的自适应策略。
1. 随机化与隔离
随机化单位由干扰范围决定。需要一致体验和留存指标时常按用户分组；无登录流量可用稳定匿名 ID；查询级实验可能产生同一用户跨组和学习效应。市场、社交或卖家互相影响时还要考虑集群随机化。
使用稳定、带实验盐的分配并记录 assignment。上线先检查 Sample Ratio Mismatch、资格过滤、曝光日志、跨端串组、缓存污染和 treatment 是否真正生效。所谓实验层正交需要分层系统和交互检查，不能只口头假设。
2. 样本量与时长
样本量由基线率、方差、MDE、显著性、功效、分配比例、聚类和多重比较计算，不存在“万级 DAU、1–2 周”的通用答案。时长应覆盖相关周期和新奇效应，同时遵守预设停止规则；持续窥看并提前停止会改变错误率，需要顺序检验方法。
大促与节假日不必一律避开：若目标策略要在这些场景运行，应预先纳入或单独分层，而不是事后删掉不利日期。
3. 指标
主指标要接近搜索成功，例如有用点击、任务完成、购买/下单或人工相关性，并写清归因窗和分母。CTR、CVR、会话深度可能方向冲突。护栏包括 P95/P99、空结果、无货、投诉/隐藏、公平、收入或成本风险。