匹配正文：…按查询类型和文档类型切片，先查知识覆盖率、切分与元数据，再分别测候选召回、重排排序、上下文组装、引用支持和最终答案。召回层至少看 Recall@k 或命中率，排序层看 MRR、NDCG 或人工偏好，生成层看答案正确性、证据支持率和拒答行为。方案必须对应证据。若文档根本没有答案，应补知识而非训练 embedding；若候选集中有答案但排序靠后，再检查查询改写、向量模型、负样本和重排；若证据正确但答案错误，则处理提示、上下文冲突、生成模型或校验。落地过程还要说明负责人、灰度范围…

#问题定位#工程实践#跨团队协作

面试题·推理优化· 字节

FAISS 怎么实现高效 ANN 搜索?

匹配正文：…加速。选型与验证根据数据量、可用内存、更新方式和目标 QPS，对 Flat、IVF、PQ、IVFPQ、HNSW 等候选统一测 Recall@K、延迟分位数、吞吐、构建时间和峰值内存。索引参数必须在代表性查询集上调优；不能仅按“百万级”或“亿级”给出固定索引结论。图解 FAISS 怎么实现高效 ANN 搜索?图解

#向量检索#近似最近邻搜索#量化压缩

面试题·Agent· 字节

Agent 长短期记忆如何分层?

匹配正文：…租户和主体分区，使用事件日志、幂等写入、删除和过期策略。多 Agent 默认隔离，只共享明确授权的命名空间。评估写入精确率、检索 Recall@K、冲突率、任务成功率、P95 延迟和存储成本，并测试错误记忆注入与删除是否真正生效。图解 Agent 长短期记忆如何分层?图解

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节

#Agent

#Agent 记忆架构

面试题·文档处理· 百度

Chunking 策略怎么选?

匹配正文：…但都不是固定规则。评测方法在同一文档集和查询集上比较多组 chunk size、结构切分方式和 overlap。检索侧看证据 Recall@K、MRR 或 NDCG、重复率和过滤后有效证据数；生成侧看答案正确性、忠实度和引用覆盖；工程侧看索引体积、延迟与上下文 token。最终选择 Pareto 更优的配置，并单独检查表格、代码、跨页和多跳问题。结论：分块没有“语义切分一定最准”或“滑窗一定召回最高”的统一排序，可靠结论来自同一评测集上的对照实验。图解 Chunkin…

#百度#文档处理#Chunking 策略

面试题·文档处理· 百度

RAG ANN 索引优化

匹配正文：先明确优化对象索引效率与召回率存在权衡，不能只调一个参数。应先建立精确搜索基线，再在真实向量分布、过滤条件和并发下测 Recall@K、P50/P95 延迟、QPS、内存、构建时间与更新成本。常见策略索引选择：HNSW 通常以较高内存换取低延迟和较高召回；IVF 通过聚类缩小扫描范围；PQ/OPQ 压缩向量以节省存储和带宽。选择取决于数据规模、更新模式、内存和目标硬件。参数调优：HNSW 的 M、efConstruction、efSearch，IVF 的 nlist、…

#百度#文档处理#RAG ANN 索引优化

面试题·文档处理· 蔚来

RAG分块策略：粒度、重叠与写入

匹配正文：…指代与话题是否连贯关键判断：同一个chunk能否独立解释被命中的事实，以及加入上下文后是否真的改善最终答案。不能只看块长，还要看Recall@K、证据完整率、答案正确性、延迟和索引膨胀。重叠处理不要预设固定比例：把零重叠、短窗口和较长窗口作为候选方案，在同一评测集上回放作用：缓解答案跨越切分边界时的信息丢失代价：重复索引会放大存储、召回冗余和重排成本实现：记录每个chunk在原文中的起止位置与父级结构，便于合并、去重和溯源向量化写入流程原始文档 → 清洗（去噪…

#蔚来#文档处理#RAG文本分块

面试题·文档处理· 小鹏

RAG 分块长度与重叠如何取舍?

匹配正文：…文元数据保留：记录来源、标题、页码、原文位置与版本，支持重排和引用评估与迭代保持查询集、答案标注和其他检索配置不变，逐组比较Recall@K、证据完整率、最终答案正确性、P95延迟、索引体积与重复召回率。根据bad case定位问题：证据被切断再调整边界或上下文补回；噪声过多则缩小候选单元或加强重排。没有实测结果时，只能陈述候选方案和验证方法。

#小鹏#RAG 文档分段#检索增强生成分段策略

面试题·评估· 高德

高并发 Agent 延迟卡在哪?

匹配正文：…化误差。热点 query、embedding 和结果可以按语料与模型版本缓存；更新后必须正确失效。检索服务独立扩缩容，并记录 Recall@K、P95/P99、缓存命中和资源使用。生成阶段 continuous batching 提高 GPU 利用率，但要按长度或截止时间调度，避免长请求拖累短请求。 KV Cache 避免重复计算历史 token，同时需要容量、隔离和淘汰策略。 speculative decoding 是否有收益取决于草稿模型接受率与额外开销，必须在目…

#高德#Agent#Agent 系统延迟优化

面试题·评估· 美团

多路召回评估指标与RAG场景

匹配正文：一、定量评估指标基础指标 Recall@K：关键文档是否被召回，RAG场景优先关注（漏召回=无法生成） Precision@K：召回结果中相关文档占比，控制噪声干扰LLM F1-Score：平衡场景使用排序质量指标 MRR（平均倒数排名）：关注首个相关文档位置，适合单文档即可回答的场景 NDCG@K：考虑文档相关性分级，适合需要综合多文档生成的复杂Query MAP（平均精度均值）：评估整体排序质量多路召回特有指标覆盖率（Coverage）：Query被至少一路召回的…

#美团#评估与监控#多路召回评估

面试题·评估· 美团

RAG 指标权衡与阈值

匹配正文：RAG评估的核心维度一、检索质量指标指标意义实践考量 Recall@K 相关文档是否被召回知识库场景优先保召回，客服场景可适当降低 MRR/NDCG 排序质量，高相关文档是否靠前影响LLM输入质量，但计算成本高上下文相关性召回内容与query的语义匹配度需过滤噪声，避免无关信息干扰生成二、生成质量指标指标意义实践考量答案相关性回答是否切题，有无答非所问最基础指标，但无法检测幻觉事实一致性生成内容是否与检索文档一致最关键指标，需用NLI模型…

#美团#评估与监控#RAG 指标权衡与阈值

面试题·评估· 字节

RAG 评测优化闭环

匹配正文：一、三层评估体系设计 1. 检索模块评估 Recall@K：答案相关文档是否在TopK中 MRR/NDCG：排序质量，关注相关文档的位置精确率指标：标题匹配率、实体命中率（针对结构化知识）多跳召回率：复杂问题需跨文档推理时的召回能力 2. 生成模块评估事实性：答案与检索内容的一致性（用NLI模型或人工抽检）完整性：是否覆盖问题所有要点（可拆解子问题逐一验证）幻觉率：生成内容超出检索片段的比例流畅度：PPL、人工可读性评分 3. 端到端评估 RAGAS指标：fait…

#字节#评估与监控#RAG 评测优化闭环

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配正文：一、系统性评估框架 RAG评估必须分层进行，避免"黑盒优化"： 1. 检索层（Retrieval） Recall@K：正确答案是否在Top-K中（核心指标） MRR/NDCG：排序质量精确率：检索片段的相关性比例 2. 生成层（Generation）事实性：答案是否忠实于检索内容（可用NLI模型自动判）完整性：是否覆盖问题要点流畅性：语言自然度（可用 perplexity 或人工打分） 3. 端到端（End-to-End） Answer Correctness：答案正…

#字节#评估与监控#RAG 评估

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：…充分、prompt和输入格式正确，再查生成与证据使用；不能仅凭该实验断言是幻觉。二、独立指标体系检索侧指标（无需生成模型）： Recall@K：Top-K命中的黄金相关文档数 / 全部黄金相关文档数；至少命中一份是Hit@K MRR：每个query首个相关结果排名的倒数，再求均值；无命中记0 NDCG：排序质量生成侧指标（固定检索结果）： Faithfulness：生成内容是否被检索文档支持（可用NLI模型判断） Answer Relevance：答案与问题的相关性交…

#百度#评估与监控#RAG 错误定位

面试题·评估· 百度

RAG 错误根源怎么定位?

匹配正文：…度或输出解析需要排查。结果时好时坏，应重复运行并控制随机性，不能用一次生成下结论。 3. 检索与生成消融检索侧：检查黄金证据 Recall@K、MRR/NDCG、chunk 完整性、过滤条件和重排前后位置。生成侧：在相同黄金证据上比较原 prompt、简化 prompt、抽取式基线和不同模型，检查答案 claim 是否被证据支持。交互侧：逐步增加候选、调整顺序并去除重复或冲突文档，判断是否存在 lost-in-the-middle、噪声干扰或上下文截断。 4. 归因矩…

#百度#评估与监控#RAG 错误定位

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：…索引外信息，设置医学安全词表拦截上下文压缩：用LLM对检索结果去冗余，保留关键证据链五、评估方法维度指标方法检索质量 Recall@K、MRR 人工标注相关性生成质量事实准确性对比原文，用NLI模型检测幻觉可追溯性引用覆盖率检查生成内容是否都有来源支撑业务价值专家满意度领域专家盲评关键取舍：医疗法律对准确性极度敏感，宁可"检索不到"也不"生成错误"，需设置置信度阈值触发人工兜底。学习建议建议系统学习该知识点

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 淘天

RAG编码模型评估指标与对比

匹配正文：…关，随机采样作为负样本优点：零成本获取训练数据，通用性强；缺点：特定领域可能不如有监督模型检索能力评估指标含义适用场景 Recall@K Top-K中命中正样本的比例关注召回完整性，RAG首选 MRR 首个正样本排名的倒数均值关注排序首位准确性 NDCG 考虑相关度等级的加权排序多等级相关性场景 RAG场景关键：优先看Recall@K（如Recall@5/10），因为生成阶段能处理少量噪声，但漏召回无法弥补。学习建议建议系统学习该知识点

#淘天#DPR 与 Contriever#RAG 编码模型评估

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：…策略（超纲问题、无可靠来源时），医疗场景必须设置"请咨询专业医师"风险提示四、评估机制（多维指标）维度指标方法检索质量 Recall@K、MRR 人工标注黄金文档集生成质量事实准确性（FactScore）、幻觉率领域专家审核 + NLI模型端到端答案有用性、合规性医生/律师打分 + 用户反馈闭环效率延迟P99、吞吐线上压测持续优化：Bad Case归因分析（检索失败？生成忽略？），针对性迭代。学习建议建议系统学习该知识点

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 美团

召回阶段怎么评估质量?

匹配正文：…评估体系，但缺乏统一标准；在线评估与业务强绑定，RAG场景下还需结合生成质量做端到端评估。离线评估指标指标含义优点缺点 Recall@K 相关文档在TopK中的占比直观、计算简单不关注排序位置，K值敏感 MRR (平均倒数排名) 第一个相关文档排名的倒数均值关注排序质量只关心首个结果，忽略后续 NDCG@K 考虑位置折扣的累积增益细粒度反映排序质量需要相关性分级标注，成本高 Hit Rate 查询是否命中相关文档极简，适合快速验证太粗糙，无排序信息 …

#美团#评估与监控#召回评估指标

面试题·评估· 字节

RAG 自动与人工评估

匹配正文：…计各问题首个相关结果倒数排名的均值；Hit@K：统计前 K 条至少命中一个相关结果的问题比例，不能据此判断命中结果内部的排序质量 Recall@K：关注相关性召回，K通常取5或10 NDCG：考虑位置权重，适用于需要精细排序的场景 2. 生成评估（Generation Evaluation） BLEU/ROUGE：n-gram匹配，适合有标准答案的FAQ场景 BERTScore：语义相似度，对同义改写更鲁棒 3. 端到端评估（End-to-End） RAGAS（主流框架）： …

#字节#评估与监控#RAG 自动与人工评估

面试题·评估· 哔哩哔哩

粗排冷启动指标与路径

匹配正文：…，GAUC按用户分组平均，消除用户间差异，更适合推荐场景 LogLoss：校准概率质量，粗排输出给精排的分数需要概率意义目标保留Recall@K：预先定义相关目标/精排oracle Top-M集合，计算其中有多少被粗排Top-K保留；Hit@K则只看每请求是否至少保留一个目标，不能混用。 RT（响应时间）：按实际端到端预算设P99与QPS门槛；10ms不是粗排的通用硬性标准。线上指标目标覆盖需用独立黄金集或精排oracle候选作分母；“最终曝光里来自粗排的比例”只是来源…

#哔哩哔哩#评估与监控#向量检索

面试题·评估· 字节

RAG 文档检索选型

匹配正文：…更新时效和单次查询成本。建立 bad case 分类，区分切块、召回、融合、重排和权限过滤问题。 3. 评测闭环离线至少观察 Recall@K、MRR 或 NDCG，并按查询类型切片；线上还要看引用正确性、无答案识别、延迟和成本。指标定义、标注口径、样本量及数据泄漏检查必须与结果一起说明。项目事实填空如果需要结合本人项目，只填写可核验事实：语料主要是【真实文档类型】；基线方案是【真实基线】；主要失败查询是【真实 bad case】；选择【真实检索或融合方案】的约束是【…

#字节#混合检索#RAG 文档检索选型

面试题·评估· 百度

MRR vs NDCG vs Precision 怎么选?

匹配正文：…G：适合"需要多文档推理"的RAG，如报告生成、综合分析 Precision@K：衡量Top-K纯度；候选池是否覆盖相关文档需另看Recall@K或目标保留率。工程实践：组合报告Recall覆盖、Precision纯度及MRR/NDCG排序。只返回1份正确文档可Precision=1，却仍漏掉其余相关文档。参考资料 Stanford信息检索教材 Stanford排序评估

#百度#MRR 计算方法#NDCG 与 Precision 区别

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配正文：答案要点检索质量指标：Recall@K、MRR、NDCG、命中率生成质量指标：忠实性、答案相关性、上下文相关性端到端评估方法：RAGAS、ARES、人工评估指标选择需结合业务场景，没有银弹一、检索质量评估核心指标 Recall@K：Top-K命中的相关文档数 / 黄金相关文档总数，关注覆盖；Top-K中相关占比是Precision@K。 MRR（平均倒数排名）：逐query取首个相关文档排名倒数，再求均值；未命中记0，并说明截断K。 NDCG：考虑位置加权的排序质…

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE 理解端到端评估框架RAGAS的核心指标知道人工评估与自动评估的权衡了解业务场景下的定制化评估需求 RAG评估需分检索层、生成层、端到端三个维度展开：一、检索评估（Retrieval Metrics）关注"找得准不准、全不全"： Recall@K：正确答案在Top-K检索结果中的比例，RAG最核心指标 Precision@K：Top-K中相关文档的比例 MRR（平均倒…

#小鹏#评估与监控#RAG 失败场景诊断