匹配正文：适合做过 RAG 评测的人，重点练评测数据怎么来、指标怎么算、错误怎么定位，以及怎样持续改进。教学示例：先换成自己的真实项目描述，再逐题练习。下面按面试追问顺序练习，最后用自查项补齐回答。项目描述示例负责【真实 RAG 场景】评测体系，承担【样本、标注、指标或平台模块】。需要准备：个人职责；样本来源；评测工件。建立【真实评测集与指标】，定位【真实失败类型】并验证【真实改动】。需要准备：指标与基线；样本切片；失败分类；验证结果。逐层练习 1. 说清你的职责简历原…

#模拟面试#简历项目#连续追问

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…是一周以后，另一类问题又答错了。团队想复现之前的结果，却发现当时问了什么、正确证据在哪里、改了哪些参数，都没有完整记录。没有固定评测集，RAG 优化的效果就很难复核，容易停留在演示层面。这就是面试里经常被追问的一道题： RAG 评测集应该怎么构建？为什么只准备问题和参考答案仍然不够？Recall@K、MRR 和 Faithfulness 又分别在评估哪一层？只回答“让大模型生成一批 QA，再算准确率”，通常会暴露更多问题：自动生成的问题是不是只会复述原文？没有正确证…

#RAG#评测与上线#RAG 评测集

面试题·评估· 商汤科技

评测数据集怎么选?

匹配正文：只列举确实使用过的数据集回答应先说明任务、模型版本和评测目的，再从真实实验记录中选择数据集：通用知识与理解：若实际使用 MMLU，说明它覆盖多学科多项选择，关注宏平均、学科切片、prompt 与 few-shot 设置。数学问题求解：GSM8K 是小学数学文字题，MATH 覆盖更具挑战的竞赛数学问题。它们评测的是数学问题求解结果；是否使用或输出 CoT 是推理与评分协议，不能直接把数据集叫作“CoT 能力测试”。代码生成：若使用 HumanEval，说明以单元测试执行…

第 1 / 14 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#评测数据集#benchmark选择#评测指标

面试题·评估· 字节

RAG 评测优化闭环

匹配标题与标签：RAG 评测优化闭环从指标、失败切片到检索/生成实验的优化闭环评估字节评估与监控 RAG 评测优化闭环 RAG 评测与优化闭环怎么设计？指标、失败切片与实验 RAG 评估体系 RAG 性能优化检索生成协同改进字节

#字节#评估与监控#RAG 评测优化闭环

面试题·Prompt· 脉脉

Prompt 如何系统设计、评测和发布？

匹配正文：…并在证据不足或冲突时澄清/拒答。原始相似度不是校准置信度，不能统一写“低于 0.7 拒答”。先通过数据、检索、上下文组装和生成各层评测确定条件。 Agent 的工具描述要与服务端 schema 一致，但模型生成参数仍需验证。循环停止、重试、费用与副作用控制放在编排代码里；“自我纠错”提示不能替代确定性状态机。 4. 建立可复现评测固定模型 snapshot、Prompt 版本、采样配置、工具/知识版本和评测数据。评测集覆盖正常、空输入、长输入、歧义、冲突、无权限、提示注入和…

#Prompt#提示工程#结构化输出

项目实战·RAG

RAG 智能问答系统

匹配正文：公开教学项目：从文档解析、检索重排到引用与评测这是公开化教学案例。文中的场景与指标用于理解项目实现；简历应填写自己实际完成的工作与测量结果。从文档解析、检索重排到引用与评测的公开教学项目配套代码与运行环境配套代码：rag-from-zero。先区分零依赖演练和完整模型链路：前者用玩具/模拟组件检查逻辑，后者还需要本地模型、首次权重下载、有效LLM凭据与网络。通过冒烟测试不等于真实Embedding、重排和LLM生成已经跑通。建议为这版配套代码使用 Python 3.…

#项目实战#RAG 智能问答系统

项目实战·Agent

Deep Research Agent：从证据链到可恢复任务

匹配正文：…s 工程验证 + 评估分开测模型推理、工具等待、队列、端到端延迟、并发与成本按结果与证据、轨迹与工具、运行行为、权限与安全建立评测用人工标注校准自动 Judge，并保持隔离测试集不回流训练学习成果理解一个「执行框架 → 训练 → 评估」全链路的研究 Agent 如何设计，并能按职责、方案、证据和边界复盘。只有亲自完成并留有证据的部分，才能写进个人简历。适合谁想做 Agent / 规划方向、想补齐 Agent 训练全流程的同学自主调研 Agent：搜索 → 阅读…

#项目实战#Deep Research Agent

项目实战·Agent

Agent / Multi-Agent 系统

匹配正文：… 再做最小可运行 Agent，把状态、工具结果和停止条件串起来。用 Agent 项目面试题检查规划、工具、记忆、权限、回放和评测能否讲清并被验证。需要更完整的项目实现、代码复盘和课程服务时，再核对本页底部的训练营入口和实际课程安排。公开部分当前提供教程和 25 篇项目验收问答，适合建立起点与检查理解；它不包含完整训练营仓库，也不应被当作完成过真实项目的证明。什么是 Agent 从单次 LLM 调用开始，加入受控的状态、工具和完成条件。先明确用户目标、输入输出契约与…

#项目实战#Agent / Multi-Agent 系统

面经·求职· 通用岗位场景

RAG 项目面试会怎样连续追问？一场工程深挖教学复原

匹配正文：从系统链路、检索选型到评测与权限，演示面试官怎样验证一段 RAG 项目描述这不是候选人实录，而是一套用于自测的教学对话。请把示例问题换成自己的项目事实，再练回答。本文是教学设计，不对应真实公司、候选人或录用结果。文中不预填项目规模、个人职责与效果数字；练习时只能使用自己能够说明测法与证据的事实。学习背景经验：适合有后端基础、正在准备大模型应用开发岗位的读者项目背景：练习场景：企业文档 RAG；项目规模、指标与个人职责由读者按真实经历填写目标岗位：大模型应用工程师 …

#RAG#项目深挖#教学复原

系统教程·评估

大模型评估与监控面试题大全

匹配正文：评估是大模型应用从 demo 走向生产的分水岭。面试官会追问你怎么构造评测集、怎么区分检索问题和生成问题、线上怎么监控成本与质量。这一页把评估与监控题目、项目章节和面试准备路径放在一起。配套教程 RAG 教程第 10 章：从感觉好用到可量化评估 Deep Research 第 8 章：Agent 评估与上线监控知识模块评估指标、评测集与线上监控评估指标、评测集与线上监控常见问题大模型评估面试最容易被追问什么？最常见的是评测集怎么来、指标为什么这样选、badcas…

#专题学习#大模型评估与监控面试题大全

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：…率，数字下降时根本不知道该改哪里。数字上升时，也可能只是普通正文变好了，真正影响检索的跨页表格仍然错误。固定回归集应该怎样建？评测不能每次临时挑一份看起来复杂的文件。解析器、OCR 模型或后处理规则发生变化后，需要用同一批样本反复比较，否则这次看到的差异可能只是输入不同。回归集可以从真实会进入知识库的文档类型中抽取。至少要覆盖普通电子 PDF、扫描件、双栏页面、无边框表格、跨页表格、带印章或水印的页面，以及项目实际支持的 PPT、图片说明或代码块。关键不在数量一开…

#RAG#解析与入库#RAG 文档解析评估

面试题·Agent

IterResearch 的演进报告为什么不是普通摘要，怎样避免越改越错？

匹配正文：…触发输入、旧状态、候选状态、期望差异和禁止变化字段，让后续 Schema、Prompt 或模型升级都能重复验证。演进报告应该怎样评测？第一类是事实保留。在长轨迹中埋入任务约束、关键事实、否定关系、时间和单位，检查多轮更新后是否仍然准确。第二类是证据可追溯。随机抽取主张，看 Source ID 和 Evidence ID 是否存在，原文是否真正支持当前表述。第三类是纠错能力。先给一个过时或错误来源，后续再提供更可靠证据，检查旧主张能否进入失效或冲突状态，相关计划是…

#Deep Research#执行框架与长任务#IterResearch 演进报告

面试题·Agent

ReSum 动态摘要怎样压缩长任务，又不把关键证据丢掉？

匹配正文：…antage broadcasting 将最终奖励传播到各段，以适配摘要条件下的推理。这些论文结果只适用于其模型、摘要器、任务和评测设置。落到具体系统时，压缩仍会带来信息损失；何时触发、哪些信息不能丢、原始证据放在哪里，以及怎样发现摘要已把研究带偏，都要单独验证。面试官问 ReSum 时，通常不满足于“上下文快满了就总结一下”。他更想听到：摘要触发条件怎样设置，摘要 Schema 保存什么，如何防止多轮压缩造成事实漂移，怎样评测摘要质量，失败时又如何恢复到原始证据？ R…

#Deep Research#执行框架与长任务#ReSum 动态摘要

面试题·Agent

Deep Research 有 Search、Visit、Scholar 和 Python，Agent 怎样选对工具？

匹配正文：…”时，真正想听的是：工具能力怎样描述，前置条件和输出证据等级怎样建模，路由由模型还是规则决定，如何处理失败、重复和权限，以及怎样评测工具选得对不对？四个工具解决的是四种不同问题 Search 回答“可能去哪里找”。它通常返回标题、摘要和链接，适合发现候选来源、扩大查询词和了解信息分布。搜索摘要只能当线索，不能默认支持最终主张。 Visit 回答“这个页面正文到底说了什么”。它需要 URL 或页面标识，还需要当前要找的目标。好的 Visit 不把整页文本原样塞回上下文，…

#Deep Research#研究工具与稳定性#Deep Research 工具路由

面试题·Agent

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：…不可信或错误原因不明时，宁可排除，也不要为了凑数自动补齐。处理方式取决于失败原因与数据用途。SFT、RL rollout 和离线评测对同一截断样本的要求并不相同。截断轨迹分类与处理流程先识别终止原因与可恢复性，再决定重采样、续跑、分段或拒绝。 SFT 数据中的截断样本怎么处理？ SFT 需要明确监督目标。如果样本在 tool call 中间截断，目标格式已经损坏，应拒绝或从原始状态重新生成。如果 observation 完整但后续 assistant 输出不存在，这…

#Deep Research#数据构造与训练#Deep Research 截断轨迹

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：模型在某类任务上表现差时，我会先把问题变成可复现的失败集合。明确输入、期望输出、当前输出、业务代价和评测脚本，再按来源、长度、难度、语言和失败类型切片。若指标或标签不稳定，任何优化都可能只是追逐噪声，所以先做人工复核和近重复检查。数据侧要看目标场景是否覆盖、标签是否一致、训练与验证是否泄漏，以及失败样本是否集中在特定模板或时间段。分布漂移可以用特征统计、类别比例、模型置信与真实错误率联合观察。t-SNE适合探索局部可视化，但会扭曲全局距离，不能单独作为样本属于分布外的证据。…

#模型调试#bad case分析#数据质量

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：很多人做 RAG 评测时，会先算一个“答案准确率”。如果分数上涨，就认为系统变好了；如果分数下降，就继续换 Embedding、调 TopK 或改 Prompt。问题是，RAG 不是一次模型调用。用户问题要经过 Query 处理、检索、排序、上下文组装、答案生成和引用回跳。最终回答错了，可能是正确证据根本没有被找回，也可能是证据已经排在前面，生成模型却漏掉了限制条件。只看一个端到端分数，团队仍然不知道应该修哪一段。这也是项目面试里很容易被追问的一道题： Recall@K、…

#RAG#评测与上线#RAG 评估指标

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…ANN 索引用近似搜索换取速度。HNSW、IVF 等索引都有搜索宽度和构建参数，调得更激进通常会影响召回。因此索引优化必须和固定评测集绑定。每次改变参数，都要检查正确证据是否仍进入前 K 条。查询快了但 Recall@K 下降，首字改善可能换来错误答案。过滤是在搜索前缩小有效范围。如果问题只允许查询某个知识库、某些文档或当前有效版本，先过滤再搜索既是权限要求，也可能减少候选范围。过滤条件应直接进入查询，让未授权和已失效内容不参与候选排序，而不是搜完全库后再二次删除。 B…

#RAG#评测与上线#RAG 首字响应

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…eComp 和 HLE 等基准覆盖不同难度与能力。公共基准便于横向比较，但未必代表自己的工具、权限和业务任务。还需要私有或内部评测集，覆盖真实问题类型、来源限制、异常和风险边界。固定集适合回归，动态挑战集用于防止长期过拟合。问题族、共享证据和改写应放在同一切分，避免训练测试泄漏。公开基准名称来自材料，正文不声称现有项目已经取得任何分数。过程指标为什么也会被刷？奖励引用数量，模型会堆无关来源。奖励步骤数，模型会拆成更多小动作。奖励少调用，模型会提前停止。奖励…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…，不能因为都与 RAG 有关就放在同一套存储里。所有存储之间需要稳定 ID 关联。文档版本改变时，检索 Chunk、引用、缓存和评测样本才能知道自己对应哪一版资料。失败和降级应该怎样设计？系统投入运行时，失败不会只发生在大模型。 Query 改写可能选错实体。可以回退原问题，或者向用户澄清。 Embedding 服务可能超时。如果系统同时有关键词路线，可以在明确标记降级的情况下只使用 BM25，但要重新应用证据门槛。向量检索可能失败。不能把空候选直接交给模型，让模型凭…

#RAG#评测与上线#RAG 系统设计

面试题·评估· 百度

LLM 准确性提升四大路径

匹配正文：…要同时考虑帮助性与安全。一个方法在某一维提升，不代表其他维度同步改善。数据侧应处理重复、污染、标签错误和目标领域覆盖，并保留独立评测。SFT让模型学习任务格式与示范行为，但示范若带错事实，模型也会复制。继续预训练可补领域分布，却可能带来遗忘。每次数据变更都要在目标、通用与安全集合上做回归。偏好优化主要学习回答之间的相对偏好，可以改善帮助性、风格或拒答边界，但偏好标注若没有核验事实，不能自动提高事实准确率。RLHF和DPO的数据闭环不同，也没有无条件胜负。需要同时报告偏好胜…

#数据质量#训练策略#推理优化

面试题·评估· 百度

大模型应用怎么保障可靠性?

匹配正文：…f-Consistency的答案一致度只能作为不确定性特征之一，不是经过校准的正确概率；不能自创“输入置信度乘模型置信度”公式。评测层：建立黄金集、对抗集和回归集，按任务分桶统计准确率、校准、拒答、证据支持率和端到端成功率。反馈闭环：点赞点踩默认只能归因到整条响应；若要定位到步骤或token，必须额外收集span标注、步骤评价或可回放trace。反馈经审核后再进入数据或规则版本。

#数据验证#输出校验#反馈闭环

面试题·评估· 百度

自动 vs 人工评价怎么选?

匹配正文：自动评测按证据类型分类 reference-based：BLEU、ROUGE、BERTScore 等将输出与参考答案比较，适合翻译、摘要或有参考文本的任务，但会受参考覆盖和表述多样性限制。 reference-free：perplexity、质量/安全分类器、groundedness 检查或某些 reward model 可不依赖标准答案，但依赖模型假设、训练域和校准。 execution-based：代码单元测试、SQL 执行、工具或规则验证直接检查可执行结果，信号清晰但覆…

#BLEU#ROUGE#BERTScore

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配正文：…t 与较弱 amateur 模型的 token 分数，抑制两者都容易给出的退化候选；它不是简单重复惩罚，也不是事实保证。后处理与评测：按断言核验来源、使用规则/分类器过滤、对高风险输出拒答或转人工。水印用于来源追踪或识别生成文本，不会降低幻觉本身。评测应分开测 factuality、faithfulness、偏见、有害内容、越狱、隐私与工具越权，并覆盖正常与对抗流量。图解 LLM 幻觉与安全风险怎么缓解?图解

#幻觉检测#内容安全#RLHF