匹配正文：…_time过滤模型幻觉vs知识冲突：显式标注知识来源，冲突时优先级排序（实时库 > 向量库 > 模型参数）效果评估闭环离线：分布漂移前后的KL散度变化、检索命中率在线：A/B测试——对照组（冻结知识库）vs实验组（动态更新），核心看分布外样本的指标增益美团场景的特殊考量外卖/酒旅业务中，供给变化极快（商家上下架、库存波动）。我们采用：实时库兜底：Redis存储当前可用商家ID，向量检索后过滤，避免推荐已下线商家分层RAG：城市级热向量常驻内存，长尾向量按需加载…

#美团#分布漂移#外接数据库增强

面试题·RLHF与对齐· 美团

Reward 函数设计关键因素?

匹配正文：…tor、用户群或上下文纳入条件模型，或分层建模。稳健性：留出人工评测集，监控 reward hacking、长度偏差、风格捷径、分布漂移和奖励模型不确定性。 Constitutional AI 不是用规则替代学习，而是用一组原则指导生成批评、修订和偏好监督，模型仍通过监督学习或偏好优化更新。

#RLHF#Reward Model#奖励设计

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…增加延迟、维护和监控成本。所以加权融合的优势是控制力强，可以使用分数差距、查询类型和业务先验；代价是必须承担分数校准、权重选择和分布漂移。 RRF 为什么不看原始分数 RRF 的全称是 Reciprocal Rank Fusion，中文常译为倒数排名融合。它不比较不同检索器给出的原始分数，只关心文档在每一路排第几。常见形式是： RRF(d) = Σ 1 / (k + rank_i(d)) rank_i(d) 表示文档 d 在第 i 路结果中的名次，k 是平滑常数。文档在某…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#检索与重排#RRF

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…先做人工复核和近重复检查。数据侧要看目标场景是否覆盖、标签是否一致、训练与验证是否泄漏，以及失败样本是否集中在特定模板或时间段。分布漂移可以用特征统计、类别比例、模型置信与真实错误率联合观察。t-SNE适合探索局部可视化，但会扭曲全局距离，不能单独作为样本属于分布外的证据。系统侧要把基础模型、prompt、检索、工具、后处理和模型本体分开。检索没召回、上下文被截断、格式校验错误，都可能表现为模型能力不足。训练侧检查loss mask、tokenizer、学习率、梯度、ch…

#模型调试#bad case分析#数据质量

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：… 脱敏后进入候选池，人工确认任务定义、证据和预期行为，再加入固定或挑战集。不能直接把用户差评当作唯一标签。离线提升上线后仍要监控分布漂移。工具、模型与业务规则变化可能让旧评测失真。 Trace 如何服务评估，但不等于评估 Trace 提供模型调用、工具、State 和工件事实，评估器在其上判断轨迹质量。没有 Trace 很难知道错误在哪，但有 Trace 不代表已经定义“什么是好”。评测样本把完成条件与 Trace 对齐。例如要求至少一条可验证来源，评估器检查引用工件和对…

#Agent#多智能体与评估#Agent 评估体系

面试题·项目与经历· 百度

大模型 vs 规则引擎怎么选?

匹配正文：…而不是让一段自然语言推理直接调用核心系统。模型自报置信不能直接当概率使用。即使输出一个分数，也要在代表性验证集上校准，并按类别与分布漂移检查。更稳妥的是结合证据完整性、规则冲突、输入是否分布外和多模型或人工复核，设计拒绝与升级机制。关键交易不能因为模型说很确定就绕过审批。何时更适合大模型，要看问题主要成本是否来自语义理解。如果输入已经结构化、规则稳定且错误成本高，规则通常更合适；若大量人工时间消耗在理解自然语言和整理候选，大模型可作为前置层。规则频繁变化也不必自动换模型，…

#技术选型#规则引擎#大模型决策

面试题·RLHF与对齐· 美团

环境训练 vs 监督学习怎么选?

匹配正文：…，但重要策略仍需保守上线，因为反事实估计依赖覆盖。在线阶段设置动作白名单、预算、回滚和停止条件，监控任务成功率、长期价值、违规率、分布漂移与策略概率。若称为 RLHF，还要明确反馈由谁标注、奖励模型如何训练以及 KL 约束；否则应准确叫在线 RL、bandit 或环境交互微调。

#环境交互#在线学习#探索与利用

面试题·文档处理· 安克科技

RAG向量化流程：预处理到归一化

匹配正文：…双版本并行灰度维度对齐：不同模型输出维度不同（768/1024/3072），入库前校验监控埋点：记录编码耗时、缓存命中率、向量分布漂移

#安克科技#RAG 向量化流程#Embedding 模型选择

面试题·RAG· 美团

外挂数据库怎么提升大模型准确性?

匹配正文：…化数据回流，动态调整索引权重和切分策略相比纯模型/静态RAG的优势时效性：分钟级数据可见，解决大模型知识截止问题准确性：数据分布漂移时，检索结果自动跟随变化，无需重训模型成本可控：避免频繁SFT，用检索成本替换训练成本美团场景的特殊考量外卖/配送业务中，商户状态、运力、价格实时变化：索引需支持高并发写入（高峰订单量）检索需考虑地理位置作为硬过滤条件冷启动问题：新商户用结构化字段兜底，逐步积累向量学习建议掌握RAG基本架构，理解动态数据与模型结合的挑战，学…

#美团#外挂数据库增强#外挂数据库

面试题·RAG· 小红书

用户兴趣模型：数据与特征取舍

匹配正文：…/天级在线学习或日全量训练，A/B验证后上线特征体系周级基于特征重要性分析做增减稳定性保障影子流量验证新模型，KS检验分布漂移设置兴趣衰减因子（如7天无交互权重×0.5），防止僵尸兴趣五、评估与迭代离线：AUC、GAUC、多样性指标（ILS）线上：人均消费时长、互动率、留存 badcase分析：定期抽样"不感兴趣"反馈，反向优化学习建议建议系统学习该知识点

#小红书#用户兴趣建模#用户兴趣模型

面试题·RAG· OPPO

推荐不精准怎么诊断?

匹配正文：…击数反映真实用户响应用户反馈负反馈率、举报率、满意度调研捕捉体验问题关键发现：离线AUC高但在线CTR低 → 特征/样本分布漂移；CTR高但CVR低 → 排序目标与业务目标错位二、四类诊断方法 1. 漏斗分析曝光→点击→加购→支付，定位哪一步流失异常例：点击率高但加购率低 → 详情页与推荐预期不符 2. Badcase 深度分析随机抽样低分样本，人工标注错误类型：类目错配（推了T恤给找羽绒服的用户）价格错配（消费能力不匹配）时效错配（推了过季款） 3.…

#OPPO#推荐精度诊断#推荐不精准诊断

面试题·模型架构· 美团

Transformer 为何用 LayerNorm 而非 BatchNorm?

匹配口述回答：…新验证。如果线上只做单样本推理，BN仍会使用训练期运行统计，而不是当前单样本方差；LN则始终由当前token计算。这个差异会影响分布漂移诊断，也说明训练模式与eval模式切换必须纳入测试。上线回归要同时覆盖train与eval模式。并记录配置。比较BN和LN统计轴区分micro-batch与global batch 解释变长和padding条件说明训练推理状态差异保留BN可用边界约4分钟梯度累积为什么不会让BatchNorm自动看到global batch统…

#Layer Normalization#Batch Normalization#Transformer

面试题·项目与经历· 字节

验证集分布：以部署目标为准

匹配口述回答：…外任务选择切分区分模型选择与最终测试检查类别覆盖和数据泄漏约3分钟验证集应随部署目标设计，但切分规则必须固定并持续监测线上分布漂移。面试官可能继续问：时间切分、用户组切分和域外验证应如何组合，怎样证明不存在跨集合泄漏？

#数据划分#类别不平衡#分布偏移

面试题·评估· 虾皮

大模型怎么用于搜索检索?

匹配口述回答：…AGAS 框架评估忠实度和相关性，结合用户点击反馈，离线阶段模拟线上分布避免偏差。面试官可能追问如何设计离线评估集、如何应对线上分布漂移、RAGAS 的具体指标计算方式。

#虾皮#大模型搜索检索#搜索检索技术方案

面试题·检索· 字节

RAG 向量检索怎么高效召回?

匹配口述回答：…。如果[[向量库]]上亿，我会考虑[[IVF-PQ]]做量化压缩，但召回会掉一点，得看业务能不能接受。落地最大的风险其实是数据分布漂移。比如客服系统，用户query随时间变化，新政策发布后语义空间变了，但索引还是旧的，召回质量会逐渐下降。所以我会建一个反馈闭环：用户点击结果后，把正负样本回流，定期增量训练Embedding模型。索引更新也有讲究，全量重建太慢，我会用双缓冲影子索引，新索引构建完后原子切换，切换前用固定query回放，对比Recall@K和延迟，不通过就回滚…

#字节#向量数据库召回#RAG 向量检索