匹配正文：…的、能溯源?" → 第 9 章(拒答 + 引用归因); "你怎么知道优化真的有效?" → 第 10 章(评估集 + Recall/MRR)。业内行话:回答追问的黄金结构还是那条链:"我们遇到的问题(带数据)→ 我的假设和方案 → 验证后的效果"。面试官真正想确认的,不是你知道某个 buzzword,而是你有没有完整走过"发现问题→解决问题→量化验证"的工程闭环。这条思考链,比任何术语都值钱。回答框架(以"你切分怎么做的?"为例,每个尖括号都由你填写): "项目里的资料是 …

#RAG#检索#项目实战

面试题·评估· 京东

NDCG 怎么计算?

匹配正文：…2.78/13.35 ≈ 0.958。搜索和推荐中可用NDCG评估多级相关结果是否把高价值项目放在前面，但还要结合Recall、MRR、覆盖率和线上目标，且标注尺度与截断k必须保持一致。图解 NDCG 怎么计算?图解

#排序评估指标#信息检索#推荐系统

面试题·文档处理· 字节

长文档 Chunking 怎么选?

匹配正文：…议：实际采用多粒度索引——小chunk用于精排，大chunk（或父文档）用于生成时补充上下文评估方法检索侧：Top-K命中率、MRR 生成侧：答案完整性人工评分、引用准确率学习建议建议从基础切块方法（如固定长度、按段落）入手，理解其在专业文档中的局限；再学习语义切块等高级策略，结合实际案例练习分块设计。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#RAG Chunking#长文档切分

面试题·文档处理· 百度

Chunking 策略怎么选?

匹配正文：… 评测方法在同一文档集和查询集上比较多组 chunk size、结构切分方式和 overlap。检索侧看证据 Recall@K、MRR 或 NDCG、重复率和过滤后有效证据数；生成侧看答案正确性、忠实度和引用覆盖；工程侧看索引体积、延迟与上下文 token。最终选择 Pareto 更优的配置，并单独检查表格、代码、跨页和多跳问题。结论：分块没有“语义切分一定最准”或“滑窗一定召回最高”的统一排序，可靠结论来自同一评测集上的对照实验。图解 Chunking 策略怎么选?图…

#百度#文档处理#Chunking 策略

面试题·文档处理· 字节

RAG 文本分块与向量索引流程

匹配正文：…reranked = cross_encoder.rank(query, candidates)[:10] 关键指标：召回率@K、MRR、延迟P99。线上建议向量召回+精排两阶段架构。学习建议建议先掌握文本分块策略与嵌入模型原理，再动手实践使用Hugging Face和FAISS构建小型向量库，理解检索全流程。

#字节#文档处理#向量检索

面试题·文档处理· 京东

Chunking 策略怎么平衡上下文与精度?

匹配正文：…t window 4. 元数据增强存储chunk的标题、章节、页码等，用于重排序或过滤 5. 评估驱动迭代用Hit Rate、MRR等指标对比不同策略结合端到端问答效果做最终判断实际项目中可先把递归分块、结构分块和不同重叠窗口作为候选，再根据同一评测集和bad case决定是否引入语义分块。学习建议建议系统学习该知识点

#京东#RAG Chunking 策略#文本分块最佳实践

面试题·文档处理· 安克科技

RAG文本向量化：分块与嵌入陷阱

匹配正文：…积，加速检索维度压缩：必要时用PCA或量化（如1024→256维），权衡精度与存储 4. 质量保障离线评估：Top-K召回率、MRR指标在线验证：人工抽检query-doc相关性，建立bad case闭环

#安克科技#RAG 文本向量化#分块策略

面试题·评估· 美团

多路召回评估指标与RAG场景

匹配正文：…回=无法生成） Precision@K：召回结果中相关文档占比，控制噪声干扰LLM F1-Score：平衡场景使用排序质量指标 MRR（平均倒数排名）：关注首个相关文档位置，适合单文档即可回答的场景 NDCG@K：考虑文档相关性分级，适合需要综合多文档生成的复杂Query MAP（平均精度均值）：评估整体排序质量多路召回特有指标覆盖率（Coverage）：Query被至少一路召回的比例互补性（Complementarity）：各路召回结果的重叠度，理想状态是低重叠高互…

#美团#评估与监控#多路召回评估

面试题·评估· 美团

RAG 指标权衡与阈值

匹配正文：…核心维度一、检索质量指标指标意义实践考量 Recall@K 相关文档是否被召回知识库场景优先保召回，客服场景可适当降低 MRR/NDCG 排序质量，高相关文档是否靠前影响LLM输入质量，但计算成本高上下文相关性召回内容与query的语义匹配度需过滤噪声，避免无关信息干扰生成二、生成质量指标指标意义实践考量答案相关性回答是否切题，有无答非所问最基础指标，但无法检测幻觉事实一致性生成内容是否与检索文档一致最关键指标，需用NLI模型或人工校验 …

#美团#评估与监控#RAG 指标权衡与阈值

面试题·评估· 字节

RAG 评测优化闭环

匹配正文：一、三层评估体系设计 1. 检索模块评估 Recall@K：答案相关文档是否在TopK中 MRR/NDCG：排序质量，关注相关文档的位置精确率指标：标题匹配率、实体命中率（针对结构化知识）多跳召回率：复杂问题需跨文档推理时的召回能力 2. 生成模块评估事实性：答案与检索内容的一致性（用NLI模型或人工抽检）完整性：是否覆盖问题所有要点（可拆解子问题逐一验证）幻觉率：生成内容超出检索片段的比例流畅度：PPL、人工可读性评分 3. 端到端评估 RAGAS指标：fait…

#字节#评估与监控#RAG 评测优化闭环

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配正文：…估必须分层进行，避免"黑盒优化"： 1. 检索层（Retrieval） Recall@K：正确答案是否在Top-K中（核心指标） MRR/NDCG：排序质量精确率：检索片段的相关性比例 2. 生成层（Generation）事实性：答案是否忠实于检索内容（可用NLI模型自动判）完整性：是否覆盖问题要点流畅性：语言自然度（可用 perplexity 或人工打分） 3. 端到端（End-to-End） Answer Correctness：答案正确性（人工或GPT-4判分）…

#字节#评估与监控#RAG 评估

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：…检索侧指标（无需生成模型）： Recall@K：Top-K命中的黄金相关文档数 / 全部黄金相关文档数；至少命中一份是Hit@K MRR：每个query首个相关结果排名的倒数，再求均值；无命中记0 NDCG：排序质量生成侧指标（固定检索结果）： Faithfulness：生成内容是否被检索文档支持（可用NLI模型判断） Answer Relevance：答案与问题的相关性交叉验证：当检索指标高但Faithfulness低 → 生成模块问题三、注意力权重分析（辅助手段） …

#百度#评估与监控#RAG 错误定位

面试题·评估· 百度

RAG 错误根源怎么定位?

匹配正文：…查。结果时好时坏，应重复运行并控制随机性，不能用一次生成下结论。 3. 检索与生成消融检索侧：检查黄金证据 Recall@K、MRR/NDCG、chunk 完整性、过滤条件和重排前后位置。生成侧：在相同黄金证据上比较原 prompt、简化 prompt、抽取式基线和不同模型，检查答案 claim 是否被证据支持。交互侧：逐步增加候选、调整顺序并去除重复或冲突文档，判断是否存在 lost-in-the-middle、噪声干扰或上下文截断。 4. 归因矩阵黄金证据召回 …

#百度#评估与监控#RAG 错误定位

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：…学安全词表拦截上下文压缩：用LLM对检索结果去冗余，保留关键证据链五、评估方法维度指标方法检索质量 Recall@K、MRR 人工标注相关性生成质量事实准确性对比原文，用NLI模型检测幻觉可追溯性引用覆盖率检查生成内容是否都有来源支撑业务价值专家满意度领域专家盲评关键取舍：医疗法律对准确性极度敏感，宁可"检索不到"也不"生成错误"，需设置置信度阈值触发人工兜底。学习建议建议系统学习该知识点

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 字节

召回策略怎么选? Recall@k 怎么看?

匹配正文：…义 RAG场景意义 Recall@k 前k个命中的相关文档数 / 全部黄金相关文档数检查证据覆盖；至少命中一份应另报Hit@k MRR (Mean Reciprocal Rank) 首个相关文档排名的倒数均值关注"多快能找到" NDCG@k 考虑位置加权的排序质量头部结果的相关性优先级 Precision@k 前k个结果中相关文档占比过滤噪声能力 Recall@k的特殊性：RAG与推荐系统不同——推荐可"猜对"，RAG必须"找全"。Recall@k直接决定LLM能否看…

#抖音#评估与监控#RAG 召回策略评估

面试题·评估· 字节

RAG 召回评估指标对比

匹配正文：…ecision@k：前k个结果的精确率，适用于答案明确的场景 F1@k：Recall和Precision的调和平均排序质量指标 MRR（Mean Reciprocal Rank）：正确答案排名的倒数均值，关注"第一个正确答案出现的位置" NDCG@k：考虑相关度分级和位置折扣，适合有多个相关文档且重要性不同的场景 MAP（Mean Average Precision）：PR曲线下面积，适合多查询平均评估指标如何影响系统性能指标侧重系统影响 Recall@k高保证相关…

#抖音#Recall@k#RAG 召回评估

面试题·评估· 淘天

RAG编码模型评估指标与对比

匹配正文：…能不如有监督模型检索能力评估指标含义适用场景 Recall@K Top-K中命中正样本的比例关注召回完整性，RAG首选 MRR 首个正样本排名的倒数均值关注排序首位准确性 NDCG 考虑相关度等级的加权排序多等级相关性场景 RAG场景关键：优先看Recall@K（如Recall@5/10），因为生成阶段能处理少量噪声，但漏召回无法弥补。学习建议建议系统学习该知识点

#淘天#DPR 与 Contriever#RAG 编码模型评估

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：…可靠来源时），医疗场景必须设置"请咨询专业医师"风险提示四、评估机制（多维指标）维度指标方法检索质量 Recall@K、MRR 人工标注黄金文档集生成质量事实准确性（FactScore）、幻觉率领域专家审核 + NLI模型端到端答案有用性、合规性医生/律师打分 + 用户反馈闭环效率延迟P99、吞吐线上压测持续优化：Bad Case归因分析（检索失败？生成忽略？），针对性迭代。学习建议建议系统学习该知识点

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 字节

RAG 自动与人工评估

匹配正文：RAG评估的三层架构 1. 检索评估（Retrieval Evaluation） MRR：统计各问题首个相关结果倒数排名的均值；Hit@K：统计前 K 条至少命中一个相关结果的问题比例，不能据此判断命中结果内部的排序质量 Recall@K：关注相关性召回，K通常取5或10 NDCG：考虑位置权重，适用于需要精细排序的场景 2. 生成评估（Generation Evaluation） BLEU/ROUGE：n-gram匹配，适合有标准答案的FAQ场景 BERTScore：语义相…

#字节#评估与监控#RAG 自动与人工评估

面试题·评估· 字节

RAG 文档检索选型

匹配正文：…成本。建立 bad case 分类，区分切块、召回、融合、重排和权限过滤问题。 3. 评测闭环离线至少观察 Recall@K、MRR 或 NDCG，并按查询类型切片；线上还要看引用正确性、无答案识别、延迟和成本。指标定义、标注口径、样本量及数据泄漏检查必须与结果一起说明。项目事实填空如果需要结合本人项目，只填写可核验事实：语料主要是【真实文档类型】；基线方案是【真实基线】；主要失败查询是【真实 bad case】；选择【真实检索或融合方案】的约束是【真实原因】；离线和…

#字节#混合检索#RAG 文档检索选型

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配正文：答案要点检索质量指标：Recall@K、MRR、NDCG、命中率生成质量指标：忠实性、答案相关性、上下文相关性端到端评估方法：RAGAS、ARES、人工评估指标选择需结合业务场景，没有银弹一、检索质量评估核心指标 Recall@K：Top-K命中的相关文档数 / 黄金相关文档总数，关注覆盖；Top-K中相关占比是Precision@K。 MRR（平均倒数排名）：逐query取首个相关文档排名倒数，再求均值；未命中记0，并说明截断K。 NDCG：考虑位置加权的排序质…

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE 理解端到端评估框架RAGAS的核心指标知道人工评估与自动评估的权衡了解业务场景下的定制化评估需求 RAG评估需分检索层、生成层、端到端三个维度展开：一、检索评估（Retrieval Metrics）关注"找得准不准、全不全"： Recall@K：正确答案在Top-K检索结果中的比例，RAG最核心指标 Precision@K：Top-K中相关文档的比例 MRR（平均倒…

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估· 淘天

RAG 核心指标优先级

匹配正文：…的认知 RAG评估要分两个层面来看：检索端和生成端，再加上端到端的整体评估。一、检索质量指标（决定上限） Recall@K / MRR：核心看相关文档有没有被召回，RAG的瓶颈往往在检索 NDCG：考虑排序质量，排在前面的文档相关性权重更高精确率：避免引入过多噪声文档干扰生成二、生成质量指标（决定体验）事实一致性（Faithfulness）：答案是否忠实于检索到的文档，最关键，直接对应幻觉问题答案相关性（Answer Relevance）：是否回答了用户问题，而非泛…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估

RG 系统效果差怎么排查?

匹配正文：…AG系统拆成三个独立可测的环节，逐个验证：一、定位检索模块问题关键指标 Recall@K：正确答案是否在Top-K检索结果中 MRR/NDCG：相关片段的排序质量诊断方法人工标注100个查询的"黄金文档"，计算检索命中率分析未命中的case：是query理解偏差（需改写/扩展）、还是向量空间不对齐（需调整embedding或分块策略）快速实验：用人工精选的上下文替换检索结果，若生成质量显著提升 → 问题在检索侧二、定位生成模块问题关键指标忠实度（Faithf…

#检索归因#生成归因#RG 系统故障排查