完整题目
电商推荐看起来“不精准”时，如何用日志、漏斗、切片、反事实和并发实验定位根因？
本文目录
先把“不准”变成可测问题
“不精准”可能指不相关、重复、无货、价格不合适、缺乏多样性、过度个性化或没有支持用户当前任务。先定义页面、用户旅程、决策单位和主要指标，再核对曝光、位置、点击、加购、支付、退款、隐藏/举报与库存日志能否由同一 request/item/user 或匿名会话 ID 关联。
1. 先验证数据与服务链
检查曝光是否只在真实渲染后记录，点击分母是否一致，重复事件与机器人是否处理，模型/特征/候选版本是否落日志，库存、价格、权限和屏蔽状态是否在展示前校验。还要看特征新鲜度、请求超时、回退比例、缓存和排序结果是否被 UI 二次改序。
离线 AUC 高、线上 CTR 低不能直接推出分布漂移；也可能是曝光埋点、位置、页面性能、候选约束或实验流量不同。CTR 高而 CVR 低也可能来自价格、库存、详情页、支付和归因窗口。每个假设都要用对应证据排除竞争原因。
2. 漏斗与切片
从候选合格 → 排序 → 实际曝光 → 点击 → 加购 → 支付/完成 → 退款或长期满意逐层比较，并注明时间窗。按新老用户、流量入口、查询意图、设备、地区、类目、价格带、库存、位置和模型版本切片，同时设置最小样本与置信区间，避免把小切片噪声当结论。
不同人群指标差异不自动等于策略失效。例如新用户 GAUC 低还可能来自标签稀疏或可比样本不足；固定“低 15%”没有诊断意义。
3. Bad case 与反事实限制
从实际曝光日志按问题切片、分数区间和结果分层抽样，展示当时候选、特征时间、排序分数、过滤与库存状态。人工标注应有清晰 taxonomy、双标/仲裁和来源证据。只抽“低分样本”会漏掉高分错误。