完整题目
在电商推荐系统中，如何通过数据指标或用户行为分析发现推荐结果不精准的问题？有哪些常见的诊断方法？
本文目录
一、核心指标体系：三层监控
| 层级 | 关键指标 | 作用 |
|---|---|---|
| 离线指标 | AUC、GAUC、NDCG、HitRate | 评估模型排序能力 |
| 在线指标 | CTR、CVR、曝光点击率、人均点击数 | 反映真实用户响应 |
| 用户反馈 | 负反馈率、举报率、满意度调研 | 捕捉体验问题 |
关键发现：离线AUC高但在线CTR低 → 特征/样本分布漂移；CTR高但CVR低 → 排序目标与业务目标错位
二、四类诊断方法
1. 漏斗分析
- 曝光→点击→加购→支付，定位哪一步流失异常
- 例：点击率高但加购率低 → 详情页与推荐预期不符
2. Badcase 深度分析
- 随机抽样低分样本，人工标注错误类型：
- 类目错配（推了T恤给找羽绒服的用户）
- 价格错配（消费能力不匹配）
- 时效错配（推了过季款）
3. 人群细分诊断
- 按用户分层：新用户/活跃用户/流失召回用户
- 按场景分：搜索推荐 vs 首页猜你喜欢 vs 购物车推荐
- 常见发现：新用户GAUC比老用户低15% → 冷启动策略失效
4. 对比实验（Hold-out）
- 保留旧模型流量作对照，排除外部因素（大促、季节）
三、快速定位决策树
在线指标异常？
├── 是 → 检查特征实时性、模型Serving延迟
└── 否 → 离线指标异常？
├── 是 → 样本偏差、目标函数设计问题
└── 否 → 体验指标异常？→ 多样性/新颖性不足学习建议
建议系统学习该知识点
换一种问法，检查是否真正理解
场景切入
假设你在做电商首页的猜你喜欢，用户反馈说推的东西都不想要。你一般怎么通过数据指标先快速判断推荐是不是真的不精准？
层层追问
线上CTR突然掉了，你怎么排查？……可能先看哪些指标？……如果CTR正常但CVR低呢，问题可能出在哪？
直球架构
在电商推荐系统中，如何设计一套诊断流程，从指标监控到badcase分析，来发现推荐不精准的问题？要包括离线、在线和用户反馈几个层面。
练习口述回答 · 约4分钟
- 本质是离线到在线的信号断裂
- 三层指标看问题：离线高在线低、CTR高CVR低、负反馈率
- 诊断方法：漏斗分析、人群细分、Badcase抽样
- 落地风险：对比实验前提、冷启动陷阱
- 收尾：我更倾向从负反馈入手
这道题本质是在问，离线指标和在线用户反馈之间的信号断裂怎么发现和定位。说白了，模型在离线测试集上AUC再高，上线后用户不买账，那就是精准度出问题了。
我会从三层指标来监控。第一层离线指标，像AUC、GAUC、NDCG，这些评估排序能力，但有个坑：离线数据是历史行为，有样本偏差，比如只曝光了用户可能感兴趣的商品，那些没曝光但用户更想要的，根本不在评估集里。第二层在线指标，CTR、CVR、人均点击数，这些是真实用户响应。第三层用户反馈，负反馈率、举报率、满意度调研，这些直接反映体验问题。
举个例子，离线AUC很高，但在线CTR一直上不去，那大概率是特征或样本分布发生了漂移，比如线上用户画像变了，离线训练数据没覆盖到。或者CTR高但CVR低，说明排序目标和业务目标错位了，用户点了但没转化，可能是商品详情页和推荐预期不符，或者价格、库存有问题。
具体诊断，我比较常用的是漏斗分析和人群细分。漏斗分析就是从曝光到点击到加购到支付，看哪一步流失异常。比如点击率高但加购率低，说明详情页内容或者商品信息没接住用户的预期，可能是图片和实物差距大，或者描述不准确。人群细分的话，我会按新用户、活跃用户、流失召回用户来拆，发现新用户GAUC比老用户低15%以上，那冷启动策略可能有问题，比如给新用户推的品类太窄，或者偏好没学够。
还有个很有效的办法是随机抽样Badcase，人工标注错误类型。比如给一个搜羽绒服的用户推了T恤，这是类目错配；给一个消费能力低的用户推了高价品，这是价格错配；推了过季款，这是时效错配。这些Badcase能直接指导特征或模型改进。
这里有个落地风险我必须提一下：做对比实验时，前提是保证其他因素不变，比如大促、季节、外部流量波动，否则归因会出问题。常见失败场景是，新模型上线后CTR涨了，但其实是当天有个大促活动，旧模型没跑完对比期就被下线了，导致误判。所以我一般会保留旧模型流量做Hold-out，至少跑一个完整业务周期。
另外，在线指标异常时，先别急着调模型，要检查特征实时性和模型Serving延迟。比如用户刚浏览了一个商品，推荐系统没及时更新特征，还是推旧的内容，那CTR自然会掉。很多精准度问题其实出在工程层面，不是模型本身。
还有一个延伸点：负反馈率这个指标，很多人只关注CTR，但其实负反馈率更能反映用户真实的厌恶程度。比如用户点了不感兴趣，或者举报了推荐内容，这些信号比单纯的未点击更有价值。我会把负反馈率作为核心监控指标之一。
所以整体上，我更倾向把精准度诊断看成从离线到在线的信号传递链条，哪一环断了就补哪一环。如果让我选一个最直接的抓手，我会先看负反馈率，因为那是用户在用脚投票。