匹配正文：…例负责【真实 RAG 场景】评测体系，承担【样本、标注、指标或平台模块】。需要准备：个人职责；样本来源；评测工件。建立【真实评测集与指标】，定位【真实失败类型】并验证【真实改动】。需要准备：指标与基线；样本切片；失败分类；验证结果。逐层练习 1. 说清你的职责简历原句是“【自己的真实项目描述】”。评测定义、样本收集、标注规范、平台实现和结果复核分别由谁完成？考察重点：核验项目所有权，避免把团队或平台成果当作个人成果。本人负责的模块、决策和交付边界团队、平台与…

#模拟面试#简历项目#连续追问

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…是一周以后，另一类问题又答错了。团队想复现之前的结果，却发现当时问了什么、正确证据在哪里、改了哪些参数，都没有完整记录。没有固定评测集，RAG 优化的效果就很难复核，容易停留在演示层面。这就是面试里经常被追问的一道题： RAG 评测集应该怎么构建？为什么只准备问题和参考答案仍然不够？Recall@K、MRR 和 Faithfulness 又分别在评估哪一层？只回答“让大模型生成一批 QA，再算准确率”，通常会暴露更多问题：自动生成的问题是不是只会复述原文？没有正确证…

#RAG#评测与上线#RAG 评测集

系统教程·评估

大模型评估与监控面试题大全

匹配正文：评估是大模型应用从 demo 走向生产的分水岭。面试官会追问你怎么构造评测集、怎么区分检索问题和生成问题、线上怎么监控成本与质量。这一页把评估与监控题目、项目章节和面试准备路径放在一起。配套教程 RAG 教程第 10 章：从感觉好用到可量化评估 Deep Research 第 8 章：Agent 评估与上线监控知识模块评估指标、评测集与线上监控评估指标、评测集与线上监控常见问题大模型评估面试最容易被追问什么？最常见的是评测集怎么来、指标为什么这样选、badcas…

第 1 / 5 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#专题学习#大模型评估与监控面试题大全

面试题·评估· 商汤科技

评测数据集怎么选?

匹配题目：请列举你在项目中使用过的评测数据集，并说明选择这些评测集的原因以及它们如何反映模型性能。

#评测数据集#benchmark选择#评测指标

面试题·评估· 字节

RAG 上下文不准确，如何用数据定位？

匹配标题与标签：…求和版本，沿原文、权限、解析、候选、融合、上下文组装逐层回放，并建立隔离的数据集闭环。评估 RAG 上下文诊断数据质量权限评测集版本一致性字节

#RAG#上下文诊断#数据质量

面试题·Prompt· 脉脉

Prompt 如何系统设计、评测和发布？

匹配正文：…不能替代确定性状态机。 4. 建立可复现评测固定模型 snapshot、Prompt 版本、采样配置、工具/知识版本和评测数据。评测集覆盖正常、空输入、长输入、歧义、冲突、无权限、提示注入和已知 bad cases。确定性检查：schema、引用存在、禁用动作与业务规则；人工标注：任务正确、完整、语气和风险；模型评审：使用明确 rubric，并用人工样本校准偏差、一致性和失败切片；更强模型也不是 ground truth；线上指标：任务完成、人工接管、投诉/错误副作…

#Prompt#提示工程#结构化输出

项目实战·RAG

RAG 智能问答系统

匹配正文：…向量库只是检索组件之一，实际还要验证解析质量、切分边界、关键词召回、权限过滤、引用一致性与拒答策略。每个模块是否有效，都需要在固定评测集和明确约束下单独验证。继续读完整版 · 第 2 章 RAG 整体架构 → 用风险场景检验设计否定条件被切散教学风险演练:一段制度先陈述适用范围，随后用「但以下情况除外」补充限制。固定长度切分可能把主句和否定条件分到不同 chunk，检索只命中前半段时，生成模型就可能给出相反结论。风险等级：P0。检查重点：切分不能只看长度；要用带否定…

#项目实战#RAG 智能问答系统

学习路线·学习路线

大模型应用开发学习路线

匹配正文：…到结果和错误处理可运行代码、数据流说明、一个失败记录选项目线 ③ 做深一条项目线不停在调 API 和跑 Demo 完整链路、评测集、对照实验、bad case 整理项目证据 ④ 补齐项目证据证明这是你做的，而不是背的职责、基线、选型、结果、代价和边界练项目追问 ⑤ 练到能接追问把“会做”变成“现场讲得清” 30 秒主线、90 秒展开、连续追问与事实自检投递和持续复盘不要用别人的学习时长判断自己是否落后。开发经验、每周投入、目标岗位和项目难度都会改变节奏。这里…

#学习路线#RAG#Agent

面经·求职· 通用岗位场景

RAG 项目面试会怎样连续追问？一场工程深挖教学复原

匹配正文：…试官：RRF 的参数为什么这样取？你测过吗？如果沿用了默认值，就明确说是默认起点，不要包装成自己的实验结论。更完整的回答是：固定评测集和其他配置，只改变待比较参数，记录召回、排序、延迟与成本，并在独立测试集上复查。真正做过哪些，就只讲哪些。面试官：答案不准就是大模型幻觉吗？先做阶段归因：正确资料是否入库，是否进入候选，重排后是否保留，送给模型的上下文是否完整，生成是否忠于证据。不同原因对应不同修复。只改 Prompt，可能掩盖解析或检索问题。面试官：你怎样证明优化有效…

#RAG#项目深挖#教学复原

求职指南·RAG

企业知识库 RAG 架构项目模拟面试

匹配正文：…实业务场景】企业知识库 RAG，承担【真实职责】，交付【真实工件】。需要准备：真实业务目标；个人职责边界；可核验工件。在【固定评测集】上将【真实指标】从【真实基线】改善到【真实结果】，同时满足【时延或成本约束】。需要准备：指标定义；评测集来源；基线与结果；工程代价。逐层练习 1. 说清你的职责简历原句是“【自己的真实项目描述】”。这条链路中哪些部分由你独立完成，哪些来自同事、云服务或既有平台？考察重点：核验项目所有权，避免把团队或平台成果当作个人成果。本人负责的…

#模拟面试#简历项目#连续追问

求职指南·RAG

PDF、表格、OCR 与文档解析项目模拟面试

匹配正文：…真实规模与约束】。需要准备：文档类型与规模；个人负责模块；交付证据。通过【真实改动】改善【字段、表格或版面指标】，结果由【真实评测集】验证。需要准备：指标定义；评测集；基线与结果；失败样本。逐层练习 1. 说清你的职责简历原句是“【自己的真实项目描述】”。你具体负责文件识别、OCR、版面分析、表格恢复、清洗还是切分中的哪几段？考察重点：核验项目所有权，避免把团队或平台成果当作个人成果。本人负责的模块、决策和交付边界团队、平台与外部服务的边界如果还没讲清：补…

#模拟面试#简历项目#连续追问

面试题·Agent

什么时候该用 Deep Research，而不是普通 RAG？复杂问题怎么分级路由？

匹配正文：…味着要用 Deep Research。反过来，哪怕只有几个网页，只要需要跨来源比较、处理矛盾和形成判断，也可能是研究任务。路由评测集应该怎么建？路由是否准确，不能靠看几个演示问题。首先建立三类样本。普通 RAG 样本包括单点事实、操作说明、规则定位和明确的无答案问题。 Agentic RAG 样本包括需要补充查询、打开正文、做一次计算或根据初次结果换关键词的问题。 Deep Research 样本包括多候选比较、多源验证、开放分析、信息冲突和结构化报告任务。然后加…

#Deep Research#问题边界与研究闭环#Deep Research 分级路由

面试题·Agent

LLM、Workflow 和 Agent 怎么选？什么任务根本不该做成 Agent

匹配正文：…无法撤销的动作当错误操作不可恢复，应该使用固定流程、最小权限和人工确认。Agent 可以提出行动建议，但执行权要隔离。无法建立评测集的“万能助手” 如果项目目标是“什么都能做”，就很难准备覆盖边界的任务集，也难以解释一次改动到底改善了什么。先把范围缩到一类可验证任务，通常比堆很多工具更像工程项目。面试里怎样证明你的选型不是拍脑袋只说“这个问题很复杂，所以用了 Agent”不够。更有说服力的证据按以下顺序准备。先拿出任务定义写明用户目标、输入、允许调用的数据和工具、…

#Agent#架构与规划#Agent 和 Workflow 区别

面试题·Agent

Deep Research 为什么会一直搜索？什么时候该停？

匹配正文：…状态表达错误。预算耗尽只能输出部分结论、证据和未完成项。若前端把所有结束状态都显示为“研究完成”，用户会被误导。怎么建立停止条件评测集？第一组是可以快速完成的问题。用于检查系统能否在证据充分后提前结束，而不是机械跑满预算。第二组是必须继续查的问题。初始搜索故意只提供局部信息，看系统是否会识别缺口并采取下一步。第三组是公开资料不足的问题。正确行为是尝试合理路径后说明无法确认，而不是不断扩大搜索或编造结论。第四组是来源冲突问题。系统需要核对时间、版本和口径，不能看到第二…

#Deep Research#问题边界与研究闭环#Deep Research 停止条件

面试题·Agent

Deep Research 报告有引用就可信吗？多个来源互相矛盾怎么办？

匹配正文：…就跳过对象、时间和口径核对。来源评分还可能制造看不见的偏见。若系统只允许少数高分网站进入报告，新出现但重要的原始资料可能被忽略。评测集应加入权威但过时、非官方但有完整测试条件、同源转载和新发布原始资料等边界样本。引用链还要处理页面变化研究报告生成后，来源页面可能更新、移动或删除。保存 URL 之外，还应记录访问时间、页面标题、证据片段和定位信息。允许保存快照时，要遵守内容授权、隐私和存储策略；不能为了可追溯就无边界复制受限内容。报告再次打开时，可以提示来源当前是否仍…

#Deep Research#问题边界与研究闭环#Deep Research 引用溯源

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：…可不可以？可以用来扩充初稿，但要人工检查问题是否自然、参考答案能否由证据推出、证据位置是否准确，以及是否只是对同一句话换词。否则评测集本身就可能把错误当标准。一个总分方便汇报，为什么还要拆指标？总分可以用于观察趋势，但排错必须保留分层结果。相同总分可能对应完全不同的失败类型，只有知道是漏字、顺序、结构还是追溯，团队才知道下一步改什么。平均分提高，但一个高风险样本退化，能不能发布？不能只凭平均分放行。先判断退化样本是否影响关键事实、权限、金额、时效或来源核验；若命中阻…

#RAG#解析与入库#RAG 文档解析评估

面试题·RLHF与对齐· 美团

Reward 函数设计关键因素?

匹配正文：… 模型假设共享标量效用；不同人群偏好不一致时，要把 annotator、用户群或上下文纳入条件模型，或分层建模。稳健性：留出人工评测集，监控 reward hacking、长度偏差、风格捷径、分布漂移和奖励模型不确定性。 Constitutional AI 不是用规则替代学习，而是用一组原则指导生成批评、修订和偏好监督，模型仍通过监督学习或偏好优化更新。

#RLHF#Reward Model#奖励设计

面试题·RAG

RAG Chunk 为什么不能只按固定字数切？

匹配项目自检：画出解析单元到 Chunk 的合并流程准备一个被固定长度切坏的样本说明超长段落的递归边界用同一评测集比较不同切分版本

#RAG#切分与索引#RAG Chunk

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…格的参数实验应该怎样设计第一步：先定义问题，而不是先枚举参数先从真实文档类型中抽样，再为每类文档准备能够定位到原文证据的问题。评测集至少要覆盖：单段即可回答的事实题；前提与结论相隔较远的条件题；带“除外、不得、仅限”等限制词的问题；前导句加列表项的流程题；表头与数据行共同决定含义的表格题；需要两个片段共同回答的组合题。这里的“标准答案”不能只有一段自然语言。还要标注支撑答案的原文位置，最好标出最小证据范围。否则系统答对了，也不知道是正确召回、模型常识碰巧答中…

#RAG#切分与索引#Chunk Size

求职指南·求职

后端工程师转大模型应用开发:已有经验怎么迁移

匹配正文：…存、Prompt 命中复用推理延迟与成本优化性能调优、连接池、批量化、异步降级可观测性 / 线上质量监控评估指标埋点、离线评测集、线上 badcase 采样与回归 Agent 工作流编排状态机、任务调度、重试与幂等、DAG 编排工具 / 函数调用集成接口设计、RPC、参数校验、错误处理这张表的用法不是让你自我安慰,而是面试和简历时的翻译词典:对方用大模型的黑话问,你用工程语言接住,再补一句「本质上和我做过的 X 是一回事,区别在 Y」。这一句就是区分「真懂」和…

#求职#职业转型

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…理。Z-score 相对关注分布，但候选少、分布偏斜或模型升级后统计特征改变时，校准也可能失稳。更稳妥的工程做法，是在固定版本的评测集上观察每路分数分布，保存校准方法和版本，并在索引或模型更新后重新检查，而不是每次查询临时归一化完就认为分数已经“公平”。前提二：权重必须有依据如果验证集显示精确查询更依赖 BM25，口语化和同义表达更依赖向量检索，可以按查询类型采用不同权重。工程上可以先做意图分类和动态权重，并通过验证集实验选择权重。但动态权重会新增一层风险：查询分类错…

#RAG#检索与重排#RRF

面试题·RAG

Rerank 为什么更准，却不能对整个知识库运行？

匹配正文：…一定更短。批次需要等待凑齐时，单请求延迟还可能增加。第三种办法是选择更小的模型或量化。这样可能降低资源与推理成本，但必须用同一评测集确认排序质量没有不可接受的退化。第四种办法是按 Query 路由。高置信精确命中可以跳过高成本精排，候选相似、含否定或需要严格排序的问题再启用。路由本身也要记录和评测，不能因为省计算而漏掉难题。第五种办法是控制输入长度。如果 Chunk 超过 Rerank 模型的最大输入，尾部可能被截断。此时盲目扩大候选或更换更大模型，不如先检查正确…

#RAG#检索与重排#RAG Rerank

面试题·RAG

Embedding 和 Rerank 模型怎么选？什么时候值得领域微调？

匹配短答：先根据语种、文本长度、许可证、显存与吞吐筛出候选 Embedding 和 Rerank 模型，再用项目评测集比较 Recall@K、MRR、延迟和显存。通用模型在专业术语、否定表达或内部缩写上稳定失败时，才考虑领域微调；训练数据应包含真实正样本和容易混淆的难负样本，并与未微调基线做消融。

#RAG#检索与重排#Embedding 模型选型

面试题·RAG

RAG 检索效果差怎么排查？从 Query 到 Rerank 逐层定位

匹配正文：…量也要记录。 Top-N 太小可能把正确证据挡在精排外，太大则增加成本与噪声。调试时扩大候选能帮助判断覆盖边界，但最终参数仍要回到评测集和延迟预算上决定。有些系统只对部分页面执行 Rerank。翻页后结果重复或跳动时，要确认不同页面是否使用相同排序口径。第七层，最终上下文真的包含完整证据吗？候选排对以后，还可能在截断与组装时出错。最终只保留前几条，正确证据可能被最后一次阈值过滤丢掉。多跳问题需要两段证据，系统却只保留其中一段。相邻重复 Chunk 占满上下文，互补…

#RAG#生成与对话#RAG 检索优化