匹配口述回答：…[[Hybrid Search]]或者[[BM25]]就够了，根本用不上图。真正落地时，我通常会把它们搭配着用：简单事实查询走传统RAG，复杂推理走GraphRAG，甚至还可以用个路由层，根据问题类型动态选择。还有一个有意思的延伸点：GraphRAG的社区摘要本身是LLM生成的，这其实引入了[[Hallucination]]风险，摘要可能不准确，导致后续检索都基于错误的前提。所以上线前我会特别关注社区摘要的[[Faithfulness]]，用一些自动评估指标比如[[RAGA…

#美团#GraphRAG#传统 RAG 对比

面试题·Prompt· 阿里

Agent Prompt优化评估指标

匹配标题与标签：Agent Prompt优化评估指标定量+定性指标设计,实验对照方法详解 Prompt 阿里云 Prompt工程评估与监控 Agent Agent Prompt 优化 Prompt 评估指标 Agent 推理链路阿里

#阿里云#Prompt工程#评估与监控

面试题·Prompt· 阿里

Agent推理链路Prompt优化评估指标

匹配口述回答：…集中修最大的失败模式，比如工具调用格式错误，而不是去抠Prompt的措辞。一句话定位：Prompt优化本质是找推理链路中的瓶颈评估指标：端到端成功率优先，辅以效率和稳定性实验方法：分层测试集、A/B对比、自动+人工组合风险前提：模型版本锁定、回归测试防退化收尾取舍：优先修长尾失败，而非追求单点指标约4分钟长链路Agent中局部Prompt优化可能失效，需引入自反思机制追问Self-RAG或Reflexion的具体实现细节，以及如何与Prompt优化协同

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#阿里云#Prompt工程#评估与监控

面试题·RAG· 淘天

RAG 核心架构与工作流程

匹配口述回答：…[Agent]]这些方案组合起来用，而不是指望一个方案包打天下。本质是给大模型外挂知识库核心流程：检索+生成，关键在检索质量 RAG适合事实精度场景，纯模型适合创意场景落地风险：检索失败、上下文管理、多跳推理我的取舍：RAG是基础能力，不是银弹约4分钟 RAG在多跳推理场景容易断链，Self-RAG通过让模型自己决定是否检索和反思来缓解，但仍有局限。这个延伸点会引向面试官追问Self-RAG的具体实现、评估指标，或者如何解决跨文档推理的准确性问题。

#淘天#阿里#RAG 架构

面试题·检索· 百度

RAG 瓶颈在哪一步

匹配口述回答：…保证检索质量，因为相关性是天花板，检索都不对，生成再好也没用；再优化系统性能，因为延迟决定可用性。说到这，我其实想提一个延伸点：RAG的评估指标，比如[[RAGAS]]里的faithfulness和context precision，在线上怎么落地？离线指标好看了，但线上用户满意度不一定高，因为用户不关心你召回率多高，他只关心答案有没有用。这个评估到线上怎么对齐，我觉得挺值得聊的。 RAG本质是检索+生成，核心在检索质量检索延迟瓶颈：索引选型与缓存兜底相关性瓶颈：混合检…

#百度#重排与优化#RAG 系统瓶颈

面试题·检索· 字节

RAG 系统怎么持续迭代?

匹配追问：场景切入假设你在做一个电商客服的RAG系统，上线后发现用户经常问“上次说的那款手机还有货吗”，但系统答非所问。你从哪几个方面去排查和迭代优化？层层追问 RAG系统上线后怎么持续优化？……你先说说从哪些维度入手……那检索不准怎么调？重排模型怎么加？……再往后生成质量怎么提升？评估指标要怎么定？直球架构请从检索、重排、生成、评估这几个关键维度，讲讲如何对一个RAG系统做持续迭代和优化，每个维度具体有哪些改进手段？

#字节#RAG评估闭环#RAG 系统优化

面试题·评估· 京东

NDCG 怎么计算?

匹配标题与标签：NDCG 怎么计算? DCG 与 IDCG 含义详解,推荐系统排序评估应用评估排序评估指标信息检索推荐系统 RAG评估相关性度量 2026真题 NDCG 计算公式 DCG 含义 IDCG 含义推荐系统评估排序指标大模型评测京东

#排序评估指标#信息检索#推荐系统

面试题·评估· 字节

召回策略怎么选? Recall@k 怎么看?

匹配正文：核心评估指标体系一、离线检索指标（选策略阶段）指标含义 RAG场景意义 Recall@k 前k个命中的相关文档数 / 全部黄金相关文档数检查证据覆盖；至少命中一份应另报Hit@k MRR (Mean Reciprocal Rank) 首个相关文档排名的倒数均值关注"多快能找到" NDCG@k 考虑位置加权的排序质量头部结果的相关性优先级 Precision@k 前k个结果中相关文档占比过滤噪声能力 Recall@k的特殊性：RAG与推荐系统不同——推荐可"猜对"…

#抖音#评估与监控#RAG 召回策略评估

面试题·评估· 字节

BGE-M3 vs BM25 怎么选?

匹配题目：在RAG系统中，如何评估并选择BGE-M3向量检索与BM25关键词检索方案？请说明关键评估指标（如Recall@k、MRR、响应延迟）及其权重考量。

#抖音#BGE-M3 vs BM25#RAG 检索方案评估

面试题·评估· 百度

MRR vs NDCG vs Precision 怎么选?

匹配标题与标签：MRR vs NDCG vs Precision 怎么选? RAG 系统评估中三种指标的区别与适用场景评估百度 MRR 计算方法 NDCG 与 Precision 区别 RAG 评估指标百度

#百度#MRR 计算方法#NDCG 与 Precision 区别

学习路线·学习路线

大模型应用开发学习路线

匹配正文：这条路线写给已经会编程，想做大模型应用开发、RAG 或 Agent 工程的人。它不要求你先把所有知识学完。不同背景的学习节奏差别很大，所以这里不按月份排任务，只看五个能检查的结果：我准备投什么岗位？我能不能把一条最小的模型应用链路跑通？我要把 RAG、Agent 还是 Deep Research 做成主项目？我有没有评测、失败案例和技术取舍证明这是自己做的？我能不能脱离稿子说清项目，并接住后续追问？学习路线不是一张课程表。每一步都有完成标准：留下能运行的代码、评测…

#学习路线#RAG#Agent

求职指南·RAG

混合检索、RRF 与重排项目模拟面试

匹配正文：…ng → metrics-proof。下一步：failure。配套学习：召回策略怎么选? Recall@k 怎么看?、多路召回评估指标与RAG场景。 6. metrics · metrics-proof 请把同一 query 集上的单路召回、融合与重排结果并排列出，并说明各模块去除后的变化；没有对照记录时不要归因到某个组件。考察重点：二次核验缺失的指标证据；仍无法提供时，在复盘中标记为“只有知识，没有项目事实”。 Recall@k、MRR、NDCG 与端到端答案指标的公…

#模拟面试#简历项目#连续追问

系统教程·评估

大模型评估与监控面试题大全

匹配正文：…造评测集、怎么区分检索问题和生成问题、线上怎么监控成本与质量。这一页把评估与监控题目、项目章节和面试准备路径放在一起。配套教程 RAG 教程第 10 章：从感觉好用到可量化评估 Deep Research 第 8 章：Agent 评估与上线监控知识模块评估指标、评测集与线上监控评估指标、评测集与线上监控常见问题大模型评估面试最容易被追问什么？最常见的是评测集怎么来、指标为什么这样选、badcase 怎么归因，以及线上质量下降时怎么定位。只说准确率不够，必须能把检…

#专题学习#大模型评估与监控面试题大全

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…｜ ~10% 学到这一步,做几道题验证一下,知道自己学到位没。关联面试题(5 道,覆盖 5 个角度) 【评估维度与方法】评估 RAG / Agent 系统通常用哪些指标和方法?请说明评估的维度。中等 → 【MRR 指标】 RAG 里 MRR(平均倒数排名)怎么定义?它在评估时有什么特殊意义? 基础 → 【评估数据集设计】如何设计和构建高质量评估数据集?数据采集、标注流程、负样本怎么处理? 中等 → 【检索段评价体系】衡量召回阶段质量有哪些成熟的离线与在线评估指标? …

#RAG#检索#项目实战

面试题·评估· 美团

召回阶段怎么评估质量?

匹配正文：召回阶段评估体系现状成熟度：有相对成熟的离线评估体系，但缺乏统一标准；在线评估与业务强绑定，RAG场景下还需结合生成质量做端到端评估。离线评估指标指标含义优点缺点 Recall@K 相关文档在TopK中的占比直观、计算简单不关注排序位置，K值敏感 MRR (平均倒数排名) 第一个相关文档排名的倒数均值关注排序质量只关心首个结果，忽略后续 NDCG@K 考虑位置折扣的累积增益细粒度反映排序质量需要相关性分级标注，成本高 Hit Rate 查询是否命中相关…

#美团#评估与监控#召回评估指标

面试题·评估

检索准但生成差，怎么调优？

匹配正文：答案要点能够系统性地拆解RAG链路，提出可量化的诊断方法掌握检索模块的独立评估指标（Recall@K、MRR等）掌握生成模块的评估维度（忠实性、相关性、流畅性）给出至少3种针对性的生成优化策略能区分"检索准但生成差"的典型场景（如上下文利用不足、指令遵循弱）一、系统性诊断：定位问题模块核心原则：将RAG链路拆分为独立可测的环节，避免"黑盒调试"。 1. 检索模块独立评估离线指标：计算Recall@K、MRR、NDCG，对比Top-K检索结果与人工标注的相关文档…

#上下文压缩#生成调优#RAG 效果诊断

求职指南·求职

大模型应用开发要懂哪些概念、懂到什么程度

匹配正文：…学习从头学一遍,真正要吃透的是一小批"每天做工程决策都会碰到"的概念:Token、上下文窗口、温度、Embedding、向量检索、RAG、Agent、评估指标这些。标准不是能背定义,而是能一句话讲清、还能说出它影响哪个工程取舍。这篇给你一张核心概念清单和"懂到什么程度"的可操作标准。作者:吴师兄 | 适合:准备转大模型应用开发、想知道概念地基要打到多深的人 | 前置:知道应用岗和算法岗的区别,不需要机器学习背景到底要懂哪些概念:一张清单表先给结论:应用开发要懂的概念不超…

#求职#职业转型

求职指南·求职

转大模型应用开发,数学和深度学习理论要补多少

匹配正文：…教程做一个能讲透的主项目,卡在哪个概念上再回头补哪个。真要碰训练侧,再看模型微调题库,用题目校准要补的深度。用面经检验自己:读RAG 工程面试教学复原,数一数面试官的追问里有几个是纯数学推导。常见问题数学不好,能转大模型应用开发吗? 能。应用开发岗要的是检索、评估、工程和取舍能力,不是数学推导能力。你只需要几个直觉:向量相似度、概率期望、评估指标含义、梯度大致方向。中学数学基础加上肯做项目,足够入行。转 AI 到底要学多少数学? 看方向。纯应用开发,补上表里"必须懂…

#求职#职业转型

项目实战·Agent

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：…收串题｜ ~10% 关联面试题(5 道,覆盖 5 个角度) 【评估体系设计】设计一套完整的评估体系来衡量一个 Agent / RAG 系统的性能。较难 → 【评测集选择】你在项目里用过哪些评测数据集?为什么选它们、它们如何反映模型能力? 中等 → 【评估关键指标】 RAG 系统的评估体系里,最重要的评估指标 / 维度有哪些? 中等 → 【幻觉评估与缓解】怎么有效评估并缓解大模型生成内容里的幻觉? 较难 → 【子任务贡献评估】复杂目标的 Agent 里,怎么评估一个…

#Agent#Deep Research#项目实战

求职指南·求职

后端工程师转大模型应用开发:已有经验怎么迁移

匹配正文：…务化、数据处理、性能优化、系统设计这些存量能力,占大模型应用岗日常工作的一半以上,真正要补的只有「模型这一层」:LLM 怎么工作、RAG/Agent 两套范式,以及一套从「确定性对错」换成「概率 + 评估」的新直觉。别推倒重来,把已有经验翻译成大模型系统的语言就够了。作者:吴师兄 | 适合:Java/Go/Python 后端、数据开发、想转大模型应用岗的在职工程师与在校后端方向学生 | 前置:写过服务化项目,了解应用岗和算法岗的区别为什么说后端是转型最顺的一批人因为大模…

#求职#职业转型

求职指南·求职

没有大模型项目经验,怎么攒出能写进简历的项目

匹配正文：…达 211 金融本硕金融科研经历有,但 AI 实战为空,跨专业劣势明显做金融知识库问答和智能风控 Agent,把金融背景接到 RAG/Agent 链路上收到蚂蚁金融大模型算法岗 offer 行业背景要进入语料、业务流程和评估指标,不能只写在教育经历里 985 控制本硕原本只准备后端,项目简易,投递反馈弱改做金融场景大模型项目,补 RAG、Agent、上下文工程和面试讲法拿到金融行业双 offer 如果原赛道不顺,不要盲目换方向,先用一个项目验证新方向的匹配度这类…

#求职#职业转型

求职指南·求职

大模型岗面试流程全解:每一轮考什么、怎么准备

匹配正文：…证什么,单开了一篇细讲:面试官怎么一层层追问。这是整份准备里投入产出比最高的地方,务必先补。八股部分按岗位方向抽,不会全都问: RAG 方向:检索链路(切块策略、嵌入选型、混合检索、重排)、评估指标。 Agent 方向:工具调用与规划(Function Calling、ReAct、失败恢复、多步编排)。微调方向:LoRA/QLoRA 原理、数据构造、灾难性遗忘。推理方向:KV Cache、量化、批处理与吞吐优化。这些在领域八股速通里按模块整理好了,题库入口在 /que…

#求职#职业转型

求职指南·求职

大模型系统设计和编码环节怎么准备

匹配正文：…che、并发调度、显存、限流降级服务化章和推理优化题库设计一个带评估的内容审核/分类系统 Prompt 分类 vs 微调、评估指标、误报漏报权衡模型架构题库设计一个低成本的长文档摘要/问答长上下文 vs 分段检索、token 成本、缓存 RAG 系统怎么从零搭起准备策略:RAG 问答和 Agent 工作流是应用开发岗的绝对高频,必须能白板画出来还能扛住追问;高并发推理服务偏平台/推理工程岗,应用岗知道大致方案和瓶颈即可,不用深到会写 kernel。编码环节到…

#求职#职业转型

面试题·模型微调· 百度

Embedding 模型选型考虑哪些因素?

匹配正文：…e-BERT、M3E、BGE等）的优劣对比理解维度、上下文长度、多语言能力的权衡知道领域适配方法（微调、对比学习）能说出性能评估指标（MRR、Recall@K、NDCG）选型核心维度 1. 业务场景匹配语义检索（RAG）：选Sentence-BERT、BGE、M3E等专为句子相似度优化的模型聚类/分类：通用BERT即可，甚至可以用更小模型代码/多模态：需专用模型（如CodeBERT、CLIP） 2. 关键性能指标因素权衡要点维度 768/1024维效果好，…

#百度#向量检索#Embedding 模型选型