匹配正文：RAG评估的三层架构 1. 检索评估（Retrieval Evaluation） MRR：统计各问题首个相关结果倒数排名的均值；Hit@K：统计前 K 条至少命中一个相关结果的问题比例，不能据此判断命中结果内部的排序质量 Recall@K：关注相关性召回，K通常取5或10 NDCG：考虑位置权重，适用于需要精细排序的场景 2. 生成评估（Generation Evaluation） BLEU/ROUGE：n-gram匹配，适合有标准答案的FAQ场景 BERTScore：语义相…

#字节#评估与监控#RAG 自动与人工评估

面试题·评估· 京东

RAG向量数据库选型关键指标

匹配题目：在构建基于大模型的检索增强系统时，如何评估和选择合适的向量数据库？请从性能、可扩展性、支持的索引类型、查询延迟、与现有技术栈的集成等方面进行详细说明。

#京东#评估与监控#向量数据库选型

面试题·评估· 淘天

现代RAG架构有哪些改进?

匹配正文：核心差异：从"拼接"到"深度融合" 传统RAG是线性流水线：检索 → 拼接上下文 → 生成，三者独立优化。现代RAG的核心改进在于打破这种隔离，实现检索与生成的双向交互。架构层面的关键演进维度传统RAG 现代RAG 交互方式单向一次迭代/多轮交互检索决策固定策略自适应路由（何时检、检多少）优化目标分段优化端到端联合训练三类深度融合机制 1. 迭代式检索（Iterative Retrieval）生成过程中动态发现知识缺口，触发补充检索代表：IRCoT…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#淘天#评估与监控#RAG架构改进

面试题·评估

RAG 检索语义相似但无关怎么解?

匹配正文：…营养价值" 两者embedding相近（都是"苹果"），但用户意图完全不同核心矛盾：Embedding模型训练目标（语义相似）与RAG业务目标（任务相关）存在错位。解决策略（分层处理） 1. 查询侧优化查询重写（Query Rewriting）：用LLM扩展/澄清用户意图，如"苹果→苹果公司/Apple Inc." HyDE（假设文档嵌入）：让模型先生成假设答案，再用答案去检索 2. 检索侧优化多路召回：BM25 + 向量检索 + 关键词匹配，互补覆盖重排序（Rer…

#Embedding#Rerank#RAG 检索相关性

面试题·评估· 字节

RAG 文档检索选型

匹配题目：在 RAG 系统中，稠密、稀疏和混合检索应如何选型？请说明技术考量、优化路径，以及项目回答中需要补充哪些可核验事实。

#字节#混合检索#RAG 文档检索选型

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配题目：在检索增强生成（RAG）系统的实际应用中，通常采用哪些评估指标和方法来评估系统性能？请从检索质量和生成质量两个维度进行说明。

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配正文：…要综合多源信息时表现差改进：引入Agent（ReAct迭代检索）、知识图谱增强、专用工具调用四、小红书场景的特殊考量社区内容RAG还需解决：UGC质量参差（需内容过滤）、实时性要求高（新笔记秒级索引）、多模态内容（图文联合检索）。

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 字节

RAG 上下文不准确怎么诊断?

匹配正文：…知识（最快见效）检索层：调优embedding（领域微调）、重排序模型、混合检索权重生成层：prompt工程约束引用格式、尝试RAG-specific微调

#字节#RAG 上下文不准确#RAG 诊断

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：…RR、BLEU、ROUGE 理解端到端评估框架RAGAS的核心指标知道人工评估与自动评估的权衡了解业务场景下的定制化评估需求 RAG评估需分检索层、生成层、端到端三个维度展开：一、检索评估（Retrieval Metrics）关注"找得准不准、全不全"： Recall@K：正确答案在Top-K检索结果中的比例，RAG最核心指标 Precision@K：Top-K中相关文档的比例 MRR（平均倒数排名）：正确答案排名的倒数均值，反映排序质量 NDCG：考虑文档相关性分级…

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配正文：…E、Faithfulness 了解端到端评估框架RAGAS的核心指标理解人工评估与自动评估的权衡知道业务场景下的实用评估策略 RAG评估要分检索层和生成层两个维度，最后才是端到端评估。一、检索质量评估经典指标 Recall@K：Top-K中相关文档数 / 已标注相关文档总数，通常先逐query计算再汇总；分母不是K。必须说明文档/片段粒度及相关性标注覆盖。 MRR（平均倒数排名）：对每个query取第一个相关结果排名的倒数，再求均值；没有命中记0，并说明截断K。 Hi…

#淘天#评估与监控#RAG 线上效果评估

面试题·评估· 美团

RAG 解决了哪些问题?

匹配正文：答案要点清晰阐述RAG的核心原理（检索+生成两阶段流程）说明至少2个具体解决的问题（如幻觉、时效性、领域知识）结合实际项目描述效果提升（量化指标更佳）体现对RAG局限性的认知（如检索质量依赖、上下文长度限制） RAG核心原理 RAG = 检索（Retrieval）+ 生成（Generation），本质是给大模型外挂一个可动态更新的知识库：离线阶段：文档切分 → Embedding模型编码 → 存入向量数据库在线阶段：用户Query向量化 → Top-K相似度检索 …

#美团#混合检索#RAG 技术

面试题·评估· OPPO

意图识别在 RAG 中怎么用?

匹配正文：… 识别多跳/复杂意图以触发Agent能力过滤无关查询降低幻觉风险为生成阶段提供结构化上下文指导意图识别的核心作用意图识别是RAG系统的"路由中枢"，解决**"用户到底想要什么"**的问题，直接决定后续检索和生成策略。一、提升检索准确性场景意图识别的作用检索方式选择事实类→关键词/稀疏检索；语义类→向量检索；模糊需求→混合检索查询改写识别省略实体（如"这个产品的价格"→补全具体产品名）多跳拆解 "A和B哪个更好"→拆分为两个子查询分别检索时效判断识别…

#OPPO#RAG 意图识别#RAG

面试题·评估· 淘天

RAG 核心指标优先级

匹配正文：…ARES）与组件级指标的区别强调事实性/幻觉检测的重要性提及业务场景下的实用指标（如延迟、成本）体现对评测方法局限性的认知 RAG评估要分两个层面来看：检索端和生成端，再加上端到端的整体评估。一、检索质量指标（决定上限） Recall@K / MRR：核心看相关文档有没有被召回，RAG的瓶颈往往在检索 NDCG：考虑排序质量，排在前面的文档相关性权重更高精确率：避免引入过多噪声文档干扰生成二、生成质量指标（决定体验）事实一致性（Faithfulness）：答案是…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估

RAG 效果差怎么排查？

匹配题目：在检索增强生成（RAG）系统中，如果整体生成效果不佳，你会如何系统性地定位问题是出在检索模块还是生成模块？请说明具体的诊断步骤与评估指标。

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…度、答案相关性）消融实验与人工分析的结合典型错误模式的识别（检索不准、生成幻觉、协同失效）核心诊断思路：分层定位，逐层验证 RAG故障排查的关键是隔离变量，把端到端问题拆解到具体模块。第一层：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，人工判断"给定这个问题，理想文档应该是什么"，对比实际检索结果查询改写分析：…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估· 百度

RAG 架构怎么工作?

匹配正文：答案要点清晰描述RAG的两阶段架构（检索+生成）说明向量检索的核心机制（embedding、相似度计算）解释RAG缓解幻觉的原理列举至少2个优势（知识时效性、可溯源性等）提及至少2个局限（检索质量依赖、上下文长度限制等） RAG基本架构 RAG = 检索（Retrieval） + 生成（Generation），核心思想是"外挂知识库"：用户Query → 向量化 → 向量检索 → Top-K文档 → 拼接Prompt → LLM生成工作流程拆解 1. 索引阶段（…

#百度#评估与监控#RAG 架构

面试题·评估· 安克科技

Agent/RAG 评估指标与挑战

匹配正文：…估与组件级评估的区别提及实际挑战如标注成本高、主观性、延迟与质量的权衡能结合业务场景举例说明一、评估维度分层 1. 检索层（RAG特有） Recall@K / MRR：衡量检索系统能否召回相关文档 NDCG：考虑排序质量的综合指标 Hit Rate：Top-K是否命中答案所在文档 2. 生成层 Faithfulness / 忠实度：生成内容是否忠实于检索文档（可用NLI模型判断） Answer Relevance：答案与问题的相关性 Context Precision：…

#安克科技#评估与监控#Agent

面试题·评估· 安克科技

RAG 问答金标构建

匹配正文：… 70% LLM生成 + 20% 真实日志 + 10% 人工设计对抗样本答案标注流程 Step 1: 候选答案生成使用多个不同RAG系统并行生成答案保留答案分布的多样性 Step 2: 多轮人工校验第一轮：标注员独立标注（3人）第二轮：分歧案例仲裁（专家介入）第三轮：溯源检查（答案是否能在文档中找到依据） Step 3: 置信度打分高置信：3人一致且可溯源中置信：2人一致或需推理低置信：存疑，不入测试集真实性验证手段方法实现方式自动溯源强制模型输出…

#安克科技#评估与监控#RAG 问答金标构建

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配正文：答案要点区分RAG和Agent的不同评估维度（检索质量vs工具调用/规划能力）覆盖客观指标（准确率、召回率）和主观指标（有用性、无害性）提及自动化评估与人工评估的结合指出实际落地中的挑战（评测数据构建、动态环境、成本权衡）一、RAG系统评估体系检索模块指标 Recall@K：正确答案在Top-K检索结果中的比例 MRR（平均倒数排名）：正确答案排名的倒数均值 Context Precision：检索片段中相关信息的比例生成模块指标 Faithfulness：生成…

#安克科技#Agent#Agent 评估体系

面试题·评估· 安克科技

Agent/RAG 评估集构建

匹配正文：答案要点区分Agent与RAG评估维度的差异数据采集的多样性与真实性来源负样本构造的hard negative策略人工+自动化的混合标注流程数据代表性验证方法核心设计原则 Agent和RAG的评估目标不同：RAG重事实准确性，Agent重任务完成度与工具调用正确性，需分开设计。数据采集来源适用场景注意事项真实用户日志高价值、分布真实脱敏+去偏，避免头部query过度采样合成数据（LLM生成）快速覆盖长尾场景需人工校验，控制幻觉比例公开benc…

#安克科技#评估与监控#Agent/RAG 评估集构建

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配正文：…所在排名；若评测截断范围内没有相关结果，该查询记为 0。排第 1、2、3 位时，倒数排名分别为 1、0.5 和约 0.33。在 RAG 中的意义 MRR 对首个有效证据能否尽早出现很敏感，适合评估只向生成器提供较少候选的排序链路。它只使用第一个相关结果的位置，不衡量后续相关证据是否齐全，也不能直接代表生成答案是否正确或忠实。多阶段检索应分别记录初召回和重排后的指标，并以最终送入模型的候选顺序作为端到端诊断依据。配套指标与阈值 MRR 应与 Recall@K、NDCG、…

#百度#评估与监控#MRR 定义

面试题·模型微调· 美团

RAG检索偏差怎么缓解?

匹配正文：…值时触发告警落地关键监控看板：新文档命中率、头部结果多样性指标 A/B实验：灰度验证策略效果，避免全量风险学习建议建议掌握RAG基础架构，理解检索偏差成因，学习持续学习、向量重排序、数据分布监控等技术，结合实际案例思考系统优化。

#美团#模型微调#RAG检索偏差

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配正文：…在的事实（如错误的人物关系）忠实性幻觉：输出与输入/上下文不一致（如摘要偏离原文）缓解方法需针对性选择。主流技术方法 1. 检索增强（RAG）核心思路：外接知识库，将生成约束在检索到的证据上标准流程：查询改写 → 向量检索 → 重排序 → 上下文增强生成关键优化：多路召回、HyDE（假设文档嵌入）、Self-RAG（反思token）局限：检索失败时幻觉反而加重，需配合置信度校准 2. 微调策略事实性SFT：用高质量QA对训练，强化"不知道就拒绝" 偏好对齐：R…

#联通#大模型幻觉缓解#检索增强

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配正文：为什么引入RAG RAG的核心价值是解耦知识存储与模型参数，解决大模型固有缺陷：知识时效性：模型参数冻结后无法感知新知识，RAG通过实时检索外部库解决幻觉问题：生成内容可溯源到检索文档，大幅降低"一本正经胡说八道" 训练成本：SFT需要重新训练模型，RAG只需更新知识库，边际成本极低可解释性：能展示"参考了哪些资料"，满足合规审计需求 RAG vs SFT 的适用边界维度 RAG更适合 SFT更适合知识特性频繁更新、领域专精通用能力、长期稳定数据规模海量文档…

#美团#模型微调#RAG vs SFT