匹配正文：…普通正文，数据库照样可以写入；同一页重复输出两次，向量仍然能够生成；引用位置发生偏移，任务状态也可能显示完成。所以面试官问“怎么评估文档解析质量”时，不能只回答一个准确率。为什么一个“解析准确率”不够？假设两套解析方案都保留了页面里的绝大部分字符。第一套仍然区分章节标题、列表前导句和正文，第二套却把它们全部压成同一级文本。若只按字符是否出现计算，两套结果可能很接近；进入 RAG 后，第二套的片段却不知道自己属于哪个章节，例外条件也可能离开它约束的正文。再看重复问题。…

#RAG#解析与入库#RAG 文档解析评估

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：大模型应用开发不是学"一个东西",而是一张地图:RAG、Agent、Prompt 与上下文、评估与监控、重排与检索、模型微调、推理部署几个方向,各自解决不同问题、考察热度也差很多。转行者最该避免的坑是"全都学一遍",正确做法是按面试频率和自己的背景挑一条主线做深。这一页就是全站技术地图的枢纽,帮你先看清全貌再决定学哪条。作者:吴师兄 | 适合:刚决定转大模型、面对一堆名词不知从哪下手的人 | 前置:知道应用岗和算法岗的区别,看过路线图大模型技术栈到底有哪些方向一句话结论…

#求职#职业转型

求职指南·求职

领域八股速通:RAG / Agent / 评估 / 微调高频考点地图

匹配正文：大模型八股不该盲背。每个方向面试官真正想验证的东西是固定的:RAG 验证你懂不懂检索链路的取舍,Agent 验证你能不能让多步流程稳定跑,评估验证你怎么证明"效果好"。你按"这个方向想验证什么 → 先看哪个教程/项目 → 代表题型 → 项目里怎么体现"这套结构去准备,比刷一百道零散题有效得多。这一篇是按方向的考点地图,帮你搭准备框架;逐题答案和口语讲法在题库里刷。作者:吴师兄 | 适合:准备大模型面试、想按方向系统过考点的人 | 前置:看过技术栈全景、选好了主线方向本篇和…

第 1 / 14 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#求职#职业转型

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…项目面试里很容易被追问的一道题： Recall@K、Precision@K、MRR、答案正确性和 Faithfulness，分别在评估 RAG 哪一层？如果几个指标互相矛盾，你会怎样定位问题？如果只把几个英文缩写逐个翻译出来，回答还停留在知识点层面。面试官真正想听的是，你能不能沿着证据流解释每个指标，看懂指标组合背后的故障，并设计一套不会被自动裁判误导的评测方法。先画清楚：一个 RAG 回答经过了哪些可评估节点堆更多指标不能直接让评测变专业。每一个分数都要先回答一个明确…

#RAG#评测与上线#RAG 评估指标

面试题·评估· 美团

多路召回评估指标与RAG场景

匹配正文：一、定量评估指标基础指标 Recall@K：关键文档是否被召回，RAG场景优先关注（漏召回=无法生成） Precision@K：召回结果中相关文档占比，控制噪声干扰LLM F1-Score：平衡场景使用排序质量指标 MRR（平均倒数排名）：关注首个相关文档位置，适合单文档即可回答的场景 NDCG@K：考虑文档相关性分级，适合需要综合多文档生成的复杂Query MAP（平均精度均值）：评估整体排序质量多路召回特有指标覆盖率（Coverage）：Query被至少一路召回的…

#美团#评估与监控#多路召回评估

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配正文：一、系统性评估框架 RAG评估必须分层进行，避免"黑盒优化"： 1. 检索层（Retrieval） Recall@K：正确答案是否在Top-K中（核心指标） MRR/NDCG：排序质量精确率：检索片段的相关性比例 2. 生成层（Generation）事实性：答案是否忠实于检索内容（可用NLI模型自动判）完整性：是否覆盖问题要点流畅性：语言自然度（可用 perplexity 或人工打分） 3. 端到端（End-to-End） Answer Correctness：答案正…

#字节#评估与监控#RAG 评估

面试题·评估· 字节

RAG 召回评估指标对比

匹配正文：核心召回指标基础指标 Recall@k：前k个结果中包含正确答案的比例，最常用。RAG中通常关注Recall@5/10/20 Precision@k：前k个结果的精确率，适用于答案明确的场景 F1@k：Recall和Precision的调和平均排序质量指标 MRR（Mean Reciprocal Rank）：正确答案排名的倒数均值，关注"第一个正确答案出现的位置" NDCG@k：考虑相关度分级和位置折扣，适合有多个相关文档且重要性不同的场景 MAP（Mean Averag…

#抖音#Recall@k#RAG 召回评估

面试题·评估· 淘天

RAG编码模型评估指标与对比

匹配正文：…本核心思想：相邻句子语义相关，随机采样作为负样本优点：零成本获取训练数据，通用性强；缺点：特定领域可能不如有监督模型检索能力评估指标含义适用场景 Recall@K Top-K中命中正样本的比例关注召回完整性，RAG首选 MRR 首个正样本排名的倒数均值关注排序首位准确性 NDCG 考虑相关度等级的加权排序多等级相关性场景 RAG场景关键：优先看Recall@K（如Recall@5/10），因为生成阶段能处理少量噪声，但漏召回无法弥补。学习建议建议系统学…

#淘天#DPR 与 Contriever#RAG 编码模型评估

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：…过速" 三、生成模型层（领域适配）基座选择：专业领域优先选已预训练模型（如Huatuo、LawGPT），或通用模型+领域SFT 检索增强生成：检索结果作为上下文注入Prompt 引用溯源：强制模型输出参考来源编号，支持可解释性安全机制：添加拒答策略（超纲问题、无可靠来源时），医疗场景必须设置"请咨询专业医师"风险提示四、评估机制（多维指标）维度指标方法检索质量 Recall@K、MRR 人工标注黄金文档集生成质量事实准确性（FactScore）、幻觉率领…

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 字节

RAG 自动与人工评估

匹配正文：RAG评估的三层架构 1. 检索评估（Retrieval Evaluation） MRR：统计各问题首个相关结果倒数排名的均值；Hit@K：统计前 K 条至少命中一个相关结果的问题比例，不能据此判断命中结果内部的排序质量 Recall@K：关注相关性召回，K通常取5或10 NDCG：考虑位置权重，适用于需要精细排序的场景 2. 生成评估（Generation Evaluation） BLEU/ROUGE：n-gram匹配，适合有标准答案的FAQ场景 BERTScore：语义相…

#字节#评估与监控#RAG 自动与人工评估

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配题目：在检索增强生成（RAG）系统的实际应用中，通常采用哪些评估指标和方法来评估系统性能？请从检索质量和生成质量两个维度进行说明。

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE、Faithfulness 了解端到端评估框架RAGAS的核心指标理解人工评估与自动评估的权衡知道业务场景下的实用评估策略 RAG评估要分检索层和生成层两个维度，最后才是端到端评估。一、检索质量评估经典指标 Recall@K：Top-K中相关文档数 / 已标注相关文档总数，通常先逐query计算再汇总；分母不是K。必须说明文档/片段粒度及相关性标注覆盖。 MRR（平均…

#淘天#评估与监控#RAG 线上效果评估

面试题·评估· 安克科技

Agent/RAG 评估指标与挑战

匹配正文：答案要点区分检索评估和生成评估两个层面列举3-5个核心指标（如Recall@K、BLEU、Faithfulness等）说明端到端评估与组件级评估的区别提及实际挑战如标注成本高、主观性、延迟与质量的权衡能结合业务场景举例说明一、评估维度分层 1. 检索层（RAG特有） Recall@K / MRR：衡量检索系统能否召回相关文档 NDCG：考虑排序质量的综合指标 Hit Rate：Top-K是否命中答案所在文档 2. 生成层 Faithfulness / 忠实度：生成…

#安克科技#评估与监控#Agent

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配正文：答案要点区分RAG和Agent的不同评估维度（检索质量vs工具调用/规划能力）覆盖客观指标（准确率、召回率）和主观指标（有用性、无害性）提及自动化评估与人工评估的结合指出实际落地中的挑战（评测数据构建、动态环境、成本权衡）一、RAG系统评估体系检索模块指标 Recall@K：正确答案在Top-K检索结果中的比例 MRR（平均倒数排名）：正确答案排名的倒数均值 Context Precision：检索片段中相关信息的比例生成模块指标 Faithfulness：生成…

#安克科技#Agent#Agent 评估体系

面试题·评估· 安克科技

Agent/RAG 评估集构建

匹配正文：答案要点区分Agent与RAG评估维度的差异数据采集的多样性与真实性来源负样本构造的hard negative策略人工+自动化的混合标注流程数据代表性验证方法核心设计原则 Agent和RAG的评估目标不同：RAG重事实准确性，Agent重任务完成度与工具调用正确性，需分开设计。数据采集来源适用场景注意事项真实用户日志高价值、分布真实脱敏+去偏，避免头部query过度采样合成数据（LLM生成）快速覆盖长尾场景需人工校验，控制幻觉比例公开benc…

#安克科技#评估与监控#Agent/RAG 评估集构建

系统教程·评估

大模型评估与监控面试题大全

匹配正文：评估是大模型应用从 demo 走向生产的分水岭。面试官会追问你怎么构造评测集、怎么区分检索问题和生成问题、线上怎么监控成本与质量。这一页把评估与监控题目、项目章节和面试准备路径放在一起。配套教程 RAG 教程第 10 章：从感觉好用到可量化评估 Deep Research 第 8 章：Agent 评估与上线监控知识模块评估指标、评测集与线上监控评估指标、评测集与线上监控常见问题大模型评估面试最容易被追问什么？最常见的是评测集怎么来、指标为什么这样选、badcas…

#专题学习#大模型评估与监控面试题大全

项目实战·RAG

第 1 章:为什么做 RAG?

匹配正文：📊 学习时长:30-40 分钟 🎯 完成后能力:能用一段零依赖代码演示 RAG 的核心机制,并讲清为什么解析、切分、检索与评估同样关键 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用 20 行不依赖任何库的代码,亲手演示一遍 RAG 的核心机制 ✓ 看懂 3 个核心概念:什么是幻觉、什么是 RAG、什么是"上下文" ✓ 建立 RAG 的"两条链路"心智模型(这张图决定了本书后面 9 章的顺序) ✓ 学会判断…

#RAG#检索#项目实战

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…怎么算 ✅ 亲手把"检索好不好"算成了客观数字,看懂了指标怎么感知优化 🎯 Part 2 · 面试深度｜ ~45% 这部分讲透评估五维度、测试集怎么建、检索段/生成段分开评、上线后怎么提速。 2.1 评估五维度:别只盯着"准不准" 评估上线准备时,光看"答得对"通常不够。可以按业务风险从下面五个维度选择指标: RAG 评估的五个维度 ① 召回 / 准确:检索用 Recall@k、MRR;生成用 BLEU、ROUGE 对比参考答案。 ② 可信度:答案里有几成内容能在检索到的…

#RAG#检索#项目实战

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…后，另一类问题又答错了。团队想复现之前的结果，却发现当时问了什么、正确证据在哪里、改了哪些参数，都没有完整记录。没有固定评测集，RAG 优化的效果就很难复核，容易停留在演示层面。这就是面试里经常被追问的一道题： RAG 评测集应该怎么构建？为什么只准备问题和参考答案仍然不够？Recall@K、MRR 和 Faithfulness 又分别在评估哪一层？只回答“让大模型生成一批 QA，再算准确率”，通常会暴露更多问题：自动生成的问题是不是只会复述原文？没有正确证据位置，…

#RAG#评测与上线#RAG 评测集

面试题·文档处理· 安克科技

RAG 文档怎么存储和向量化?

匹配标题与标签：RAG 文档怎么存储和向量化? 从原始文本到向量数据库的完整流程:分块、Embedding 与索引设计文档处理安克科技评估与监控 RAG 文档向量化文档分块策略 Embedding 模型选择向量数据库索引安克科技

#安克科技#评估与监控#RAG 文档向量化

面试题·评估· 蚂蚁

RAG多轮对话怎么防知识遗忘?

匹配正文：…失）与上下文漂移（主题偏离）的本质差异提出显式对话状态管理机制设计动态检索策略而非单次检索说明查询重写/扩展的具体方法给出评估多轮RAG效果的指标问题本质多轮RAG的两个核心挑战：知识遗忘：早期轮次的关键信息未被当前检索利用上下文漂移：用户意图变化导致检索偏离当前需求技术方案 1. 显式对话状态管理对话状态 = {主题实体集合, 用户意图, 未解决问题, 已确认事实} 每轮用轻量模型抽取状态更新状态向量化后参与检索相似度计算 2. 分层检索策略层级内…

#蚂蚁#RAG 多轮对话#知识遗忘

面试题·评估· 美团

Agent 训练 vs RAG 怎么选?

匹配标题与标签：Agent 训练 vs RAG 怎么选? 从任务定义到强化学习,完整闭环与评估机制评估美团 Agent Agent 训练流程 Agent 迭代设计强化学习 Agent Agent 评估机制美团

#美团#Agent#Agent 训练流程

面试题·评估· 美团

RAG 工作原理与局限怎么分析?

匹配正文：…OP、合规文档、客服工单)首选 RAG;固定格式/语气输出用微调。真实落地常两条腿走路:先微调让模型理解业务术语与对话风格,再用 RAG 注入实时数据。例如电商客服问「退货了但退款没到账」,微调只能背标准流程,RAG 能检索到该用户的退款进度,给出「已审核通过,预计 2 个工作日到账」的具体回答。入门后可深入:从 Naive RAG 走向查询理解、Agentic RAG 与检索质量评估体系。

#美团#评估与监控#RAG 工作原理

面试题·评估· 美团

RAG 指标权衡与阈值

匹配正文：RAG评估的核心维度一、检索质量指标指标意义实践考量 Recall@K 相关文档是否被召回知识库场景优先保召回，客服场景可适当降低 MRR/NDCG 排序质量，高相关文档是否靠前影响LLM输入质量，但计算成本高上下文相关性召回内容与query的语义匹配度需过滤噪声，避免无关信息干扰生成二、生成质量指标指标意义实践考量答案相关性回答是否切题，有无答非所问最基础指标，但无法检测幻觉事实一致性生成内容是否与检索文档一致最关键指标，需用NLI模型…

#美团#评估与监控#RAG 指标权衡与阈值