匹配正文：…据外常识。第五步，标注支持证据。一个问题需要几段，就把几段都记录下来。第六步，标记题型、难度、是否可回答和风险类型。第七步，人工复核并版本化，保存每次修改原因。 RAG 评测集从知识范围到人工复核的链路问题生成只是中间一步，真正费工的是答案与证据校验、覆盖检查和版本管理。这里有一个容易忽视的风险：评测集自己也会产生幻觉。模型生成参考答案时，可能加入文档里没有的细节。人工只检查语言是否通顺，没有逐项对照原文，错误就会被写进 Ground Truth。之后系统严格按证…

#RAG#评测与上线#RAG 评测集

面试题·评估· 蚂蚁

大模型客服质检系统如何设计与验证？

匹配正文：…确等结果往往需要订单和后续工单，不能只从文本猜。客户会话可能含身份、联系方式、订单、健康或财务信息。采集、转写、存储、模型调用、人工复核和训练用途分别做最小化、脱敏、权限、保留与删除控制。没有依据时，不能把低置信样本自动用于微调。 2. 规则、模型与外部事实分工确定性规则适合时间、必填步骤、明确词表和系统事件，但规则也会误报、受转写错误影响，并非“零幻觉”。模型适合需要上下文的语义判断；业务正确性应查询当时有效的政策、订单和操作日志。长会话分段要保留说话人、时间、主题与…

#客服质检#LLM 评测#证据引用

面试题·RAG· 字节

高风险垂直领域 RAG 如何设计？

匹配标题与标签：…险场景为例，从用途边界、权威证据、权限时效、评测和人工责任设计 RAG。 RAG RAG 高风险应用医疗法律证据追溯权限人工复核字节

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#高风险应用#医疗

项目实战·Agent

Deep Research Agent：从证据链到可恢复任务

匹配正文：…线和复现实验] 验证记录： - 基线：[单轮搜索 / ReAct / 其他真实方案] - 实验：[任务集、消融、Judge 校验和人工复核] - 结果：[真实结果与代价，不把理论上限当作实现结果] 核心贡献： 1. [本人作出的关键决策 + 证据] 2. [本人完成的工程改动 + 复现方法] 3. [失败样本、适用边界与下一步] 建议：系统约束、证据与评测形成闭环建议：训练只在真实完成且可复现时出现注意：不要用框架名代替具体贡献和证据注意：不要把理论上限写成已经实现的能…

#项目实战#Deep Research Agent

求职指南·RAG

PDF、表格、OCR 与文档解析项目模拟面试

匹配正文：…引流程?。 4. tradeoff · tradeoff 为什么选择当前 OCR、版面模型和表格方案？规则、专用模型、视觉大模型和人工复核各在什么边界使用？考察重点：验证选型来自真实约束和对比，而不是技术名词堆砌。至少两个候选方案、真实约束与放弃原因质量、时延、开发和维护成本下一步：metrics。配套学习：RAG 中表格图片怎么处理?、长文档 Chunking 怎么选?。 5. metrics · metrics 解析质量如何度量？字段、阅读顺序、表格单元格、切分…

#模拟面试#简历项目#连续追问

项目实战·Agent

第 1 章:为什么需要 Deep Research

匹配正文：… Deep Research 理解为一类多步骤研究系统,区分它与固定检索流程,运行一个可复现的执行器示例,并说明证据、权限、成本和人工复核边界 🔗 关联面试题:5 道(见 Part 3) 这一章你会学到什么 ✓ 用任务行为而不是产品名称定义 Deep Research ✓ 区分规划、工具调用、工作状态、证据引用和用户可见说明 ✓ 运行一个零依赖、无 API key 的确定性研究执行器 ✓ 理解普通 RAG、带动态检索的工作流与研究型 Agent 是连续选型空间 ✓ 识别多步…

#Agent#Deep Research#项目实战

面试题·Agent

Agent 规划应该写在 Prompt 里，还是固定在业务代码里？

匹配正文：…Prompt 中写“不得越权”只能起提醒作用，不能成为安全控制。不可跳过的业务步骤教学合同审核场景中，高风险条款出现后必须进入人工复核；教学退款场景中，状态变更前必须完成身份与订单校验。这些步骤要进入固定 Workflow 或状态机。参数硬边界和资源预算最大结果数、允许的日期范围、单任务最大工具次数、总耗时、上下文预算等，应由程序限制。模型可以建议参数，但不能突破服务端约束。不可逆动作和最终提交写库、发消息、修改配置或创建真实业务动作，需要幂等、二次确认、审计和回…

#Agent#架构与规划#Agent 规划 Prompt 还是代码

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…对无边框/半结构化表格,先按文档类型分别标注并测量。只有当普通方案在你的样本上暴露明显错误时,再比较更强的表格识别模型、版面分析或人工复核方案。失败演练:准备一张无边框费率表,故意去掉表头或打乱单元格读取顺序,观察"年龄、性别、费率"如何错配。这里不预设金额或业务后果,重点是验证解析结果能否保持行列关系。坑 3:印章/签名压在文字上现象:合同的红章常盖在关键文字上,OCR(光学字符识别,把扫描件/图片里的文字提取出来变成可编辑文本)直接把那片糊成一团。后果:被印章覆盖…

#RAG#检索#项目实战

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…解决偏好数据两个答案哪个更好标注规范、DPO/RLHF/GRPO 基本理解评估体系模型改了到底有没有变好指标、评估集、人工复核、线上反馈失败样例分析为什么新模型某些场景退化数据覆盖、过拟合、灾难性遗忘研究生和算法背景更容易切这个方向。后端同学也能靠应用项目逐步靠近,但不建议一开始就把自己包装成微调专家。先讲清 RAG/Agent 场景,再说明你理解什么时候需要微调,会更可信。读 JD 时用这张表判断岗位类型 JD 关键词更可能是哪类岗位你该准备什么 …

#求职#职业转型

面试题·Agent

Deep Research 报告有引用就可信吗？多个来源互相矛盾怎么办？

匹配正文：…、片段和替代入口；但也要遵守内容授权和隐私要求。第七步，人工抽检高风险结论。自动评估适合批量发现问题，影响决策的关键主张仍应保留人工复核。 Deep Research 报告的引用质量矩阵链接多不等于证据好，覆盖、支持、适用和独立需要分开检查。引用评测集应该怎样准备？准备一组明确支持的样本，证据原文能直接蕴含主张。准备一组主题相关但不支持的困难负样本，检验系统是否只做语义相似匹配。准备一组时间和版本不一致的样本，检验适用性。准备一组同源转载，检验独立性。准备一组…

#Deep Research#问题边界与研究闭环#Deep Research 引用溯源

面试题·RAG

MinerU 能直接解决 RAG 文档解析吗？哪些页面必须二次处理？

匹配短答：…小语种 OCR、公式和结构化语义仍可能失败。稳妥做法是保存中间结果，对低置信度或特殊页面分类路由，再用专用表格模型、OCR、规则或人工复核处理。

#RAG#解析与入库#MinerU RAG

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：… 最后保留失败原因和处理决定。失败原因可以是漏字、错序、表格断裂、重复内容、位置错误或无法判断。处理决定可以是放行、重试、降级或人工复核。不要只写“未通过”，否则系统知道它失败，却不知道下一步送到哪里。这种记录让解析评测从一次验收变成可重复的工程过程。新版本上线前可以按类型回归，线上出现问题也能快速找到相似样本，而不是重新从一堆文件里猜测原因。记录还要保留原始解析片段，而不只是人工修正后的版本。否则评测人员看到的是已经改好的答案，无法判断解析器本身做对了多少，也无法确认…

#RAG#解析与入库#RAG 文档解析评估

求职指南·求职

大模型应用开发要懂哪些概念、懂到什么程度

匹配正文：…estions?module=推理优化幻觉输出缺少事实依据或与可核对证据冲突会组合检索与引用、结构校验、工具验证、拒答阈值和人工复核,并用评估集衡量引用与溯源 Embedding 与向量模型把输入编码为向量,其相似度行为取决于训练目标和数据分布知道模型、距离函数、归一化和领域数据都会影响召回,要用目标数据验证 Embedding 选型向量库与 ANN 检索存储与检索向量;可用精确搜索或近似最近邻索引会根据规模和延迟目标比较精确/近似方案,在目标数据上测召回与…

#求职#职业转型

面试题·RAG

跨页表格、代码块和图片怎么切，才不丢结构？

匹配正文：…解析、切分、增强文本还是检索。面试时若被问“什么时候允许人工处理”，可以明确回答：高风险资料、自动置信不足以及结构质检失败时进入人工复核；人工修改应保留原始结果、修改人和版本，后续重建不能静默覆盖。人工复核不是用来掩盖所有失败，而是为自动链路无法可靠判断的边界提供可审计出口。同时保留失败类型。表格错可以继续拆成表头丢失、跨页误合并和列错位；代码错可以拆成字符识别、缩进破坏和函数边界错误；图片错可以拆成文字遗漏、关系丢失和描述推断。特殊内容切分应该怎样验收验收不能停在统…

#RAG#切分与索引#RAG 表格切分

项目实战·RAG

第 9 章:上下文问答与引用溯源

匹配正文：…② 为关键结论标出处 [编号],并能点回原文。这两件事,就是本章的主题:上下文问答和引用溯源。约束效果仍需用无答案集、引用正确率和人工复核验证。一句话:引用与拒答让关键结论更容易核验。对部分受监管、需要审计或风险较高的场景,它们常是重要的风险控制手段;是否强制、覆盖哪些输出,应以适用法律、监管要求和业务制度为准。这一章,我们就先用一段零依赖代码,把"带出处作答 + 没依据拒答"跑出来。 3 个核心概念(先白话,再术语) 概念 1:什么是"上下文问答"? 前 8 章都在为这…

#RAG#检索#项目实战

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…S 吞吐、用户满意度:上线后盯着不出事。离线评估与线上指标解决不同问题。通常先用离线数据筛掉明显不合格的方案,再通过灰度、监控和人工复核观察真实流量表现;高风险场景还需要更严格的上线门槛。具体顺序与覆盖范围应按风险、数据可得性和发布策略确定。 🛠️ 跟着做:30 行算出 Recall@k 和 MRR Step 1:写评估函数下面的 gold 支持一个或多个可接受 chunk,并对空评估集、非法 k 和缺失检索结果给出明确错误。chunk ID 只在这份冻结的切分/索引内…

#RAG#检索#项目实战

面试题·Agent

Deep Research 训练的种子问题从哪里来，怎样避免一开始就把数据做偏？

匹配正文：…结构复杂，但任务契约清楚。例如需要比较多个对象、核对不同来源、解释条件差异，并在证据不足时保留缺口。难度标签应通过最小可行轨迹和人工复核校准。模型预测的“难题”只能作为初筛，不能直接当标签。每条种子要通过哪些质量门？意图清楚：独立阅读能知道要解决什么。范围可执行：对象、时间和交付边界足以规划。证据可验证：存在允许使用的公开或授权资料，或者明确标记无答案。答案不泄漏：问题文本没有包含结论、正确页面或评分字段。来源合规：许可证、隐私、用户授权和保留策略明确。非重复…

#Deep Research#数据构造与训练#Deep Research 种子数据

面试题·Agent

简单问答怎样升级成真正需要多步研究的问题，又不把题目编坏？

匹配正文：…要求增加验证难度。工具类型和必要步骤反映执行复杂度。动态规划程度检查中间结果是否可能改变后续动作。答案开放度与风险决定评分和人工复核要求。这些维度可以组成标签或分层，不必压成一个绝对分数。两个总分相同的问题，可能一个难在证据冲突，一个难在长工具链，训练价值不同。复杂 QA 质量与难度评估矩阵难度、可回答性、证据和多样性要分开检查，不能互相抵消。生成题的质量门有哪些？结构合法：问题可独立理解，范围与交付明确。事实有效：实体、关系、时间和参数真实存在。答案可证…

#Deep Research#数据构造与训练#Deep Research 复杂问答

面试题·RAG

RAG 引用怎么做到可核验？为什么让模型自己标来源不够？

匹配短答：…以要求模型引用证据 ID，但输出后仍要校验编号是否存在、所引片段是否支持对应陈述。更严格时可把答案拆成事实句，再用规则、NLI 或人工复核做后处理归因。前端最后把内部 ID 映射成可点击来源。

#RAG#生成与对话#RAG 引用溯源

面试题·Agent

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：… 评测时检查用户是否获得可用信息、证据是否可靠、未完成范围是否透明，而不是只看有无 final answer。如何给未完成轨迹做人工复核？审核者先隐藏已有总 reward，避免把低分当成先验结论。沿步骤检查每次 action 是否对应当前信息缺口，observation 是否来自真实环境，状态是否吸收了新证据。再定位终止原因，确认是服务返回的 stop reason，还是通过文本猜测。随后判断在相同状态下，合理下一步是什么：继续检索、综合答案、安全降级还是已经应该更…

#Deep Research#数据构造与训练#Deep Research 截断轨迹

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…、当前输出、业务代价和评测脚本，再按来源、长度、难度、语言和失败类型切片。若指标或标签不稳定，任何优化都可能只是追逐噪声，所以先做人工复核和近重复检查。数据侧要看目标场景是否覆盖、标签是否一致、训练与验证是否泄漏，以及失败样本是否集中在特定模板或时间段。分布漂移可以用特征统计、类别比例、模型置信与真实错误率联合观察。t-SNE适合探索局部可视化，但会扭曲全局距离，不能单独作为样本属于分布外的证据。系统侧要把基础模型、prompt、检索、工具、后处理和模型本体分开。检索没召…

#模型调试#bad case分析#数据质量

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…实”“引用是否支撑陈述”拆开判断，再检查人机分歧集中在哪些题型。只有稳定维度才适合批量运行；高风险题、低置信度题和人机分歧集继续人工复核。每次还要保存问题、参考答案、证据、待评答案、评审 Prompt 和裁判版本，防止裁判变化被误认为 RAG 变化。自动裁判也需要被校准先用人工金标确认裁判可用范围，再将自动指标用于扩大覆盖。裁判分数和人工不一致，听谁的？先回到评分规则和证据。人工之间也不一致，说明规则需要拆细；规则清楚而裁判持续误判某类否定或多证据问题，就让该类样本…

#RAG#评测与上线#RAG 评估指标

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：… 开放问题的覆盖、取舍、结构和解释质量更适合 rubric 加 LLM Judge。高风险事实、争议结论与 Judge 分歧需要人工复核。三者不是互斥的。规则先处理确定性硬门，减少 Judge 负担；Judge 对剩余维度输出结构化分数与证据；人工抽查校准偏差和更新 rubric。 Judge 不能看到不该使用的参考答案或隐藏标签，否则会产生泄漏。评估结果保存 evaluator、Prompt、rubric 和规则版本，确保每版可以重算。多维分数应该怎样汇总？先区…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…、引用 ID 是否匹配、计算是否可复算、工具是否执行，应优先用规则和真实 Trace。高风险事实、Judge 分歧和新型失败仍需人工复核。 LLM Judge 的价值与边界对比 Judge 擅长开放 rubric，不承担真值、权限和全部事实验证。三种最常见的 Judge 偏差第一种是位置偏好。 Pairwise 比较中，Judge 可能系统性偏爱 A 或 B。具体方向因模型与任务而异，不能假设永远偏前。缓解方式是随机顺序，并把 A/B 交换后再评。两次结论冲突时标记不…

#Deep Research#上线成本与评估#Deep Research LLM Judge