匹配正文：…同一次路由要同时检查任务质量、等待时间、工具调用和完成情况。路由验证不能只算准确率第一类指标是路由正确性：模型选择的路线是否与人工标注一致，尤其关注把复杂任务压到简单链路的漏判。第二类指标是最终质量：路由正确不代表任务完成。普通 RAG 是否找到直接证据，Deep Research 是否覆盖关键维度并提供可核查来源。第三类指标是执行成本：工具调用数、模型调用数、总 Token 和任务时间。这里不预设“越少越好”，而是看是否存在无效步骤。第四类指标是稳定性：相同意图换…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Deep Research#问题边界与研究闭环#Deep Research 分级路由

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…来自第几个 chunk",事先人工标好; 系统跑完检索,"成功找回正确 chunk"的题数 ÷ 100 = 召回率。例如,同一批人工标注问题里,命中正确 chunk 的题数除以总题数,就是召回率。具体数值由你的评估集和检索结果计算,不要沿用教程示例作为项目结果。召回率是评估 RAG 检索好不好最重要的指标,本章会反复出现这个词。召回率:100 道题里,正确 chunk 被找回了多少概念 3:什么是 "top-k" 检索? top-k:每次检索返回最相似的 K 个 ch…

#RAG#检索#项目实战

面试题·RAG

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

匹配正文：…。对扫描页还要检查文字区域。缺少某一类元素时，要能定位到具体页面和处理阶段。第二层是顺序与层级。对双栏、混排和多级标题页面准备人工标注顺序，核对解析后是否仍然保持。标题是否与正文关联，列表层级是否存在，也要单独检查。第三层是表格结构。抽取代表性表格，检查表头、行列和单元格对应关系。跨页表格还要验证续表是否正确合并，拆块后是否重复携带必要表头。字符都对但列错位，仍然是不合格结果。第四层是可溯源性。从任意内容单元返回原文件、页码和页面区域。图片描述要能回到对应图片，表…

#RAG#解析与入库#复杂 PDF 阅读顺序

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：…用例，用来解释评测方法，不代表真实项目已经得到某组实验结果。标题层级丢失，但所有文字都在文字覆盖可以很高，问题出在结构保留。人工标注章节标题、列表前导句和正文的隶属关系，再比较解析结果。检索测试要分别问章节主题和具体条目，确认返回片段既包含答案，也知道答案属于哪个标题路径。扫描页只有少量字符先检查图像是否清晰、方向是否正确，页面有没有文本层，再看 OCR 输出和置信信息。如果关键句缺失，这一页不能因为任务没报错就算通过。它应进入重试或复核，并把文档状态标记为不完整…

#RAG#解析与入库#RAG 文档解析评估

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…判断相关，不一定判断完整。一个块包含“可以申请”，却没有包含后面的“仅限以下情形”；它与问题高度相关，但不能安全支撑答案。可以由人工标注或规则辅助检查：答案所需的前提、主体、条件、结论和例外是否在同一块或允许拼接的少量块中完整出现。这项指标不必先追求自动化总分。首批高风险样本逐条审查，往往比一个无法解释的模型评分更有价值。重复率：Top K 里有多少位置被近似内容占据 Overlap 增大后，一个常见的副作用是候选重复。可以比较结果之间的文本重合、来源区间重合或相邻 c…

#RAG#切分与索引#Chunk Size

项目实战·Agent

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：…e 一个明确的打分 prompt(评分维度、每档的标准、要不要给理由),让它输出结构化分数。优点:可扩展、快、便宜、一致性比多个人工标注者还高。关键:Judge 的 prompt(rubric)质量,直接决定评估质量。模糊的 rubric 会得到模糊的分。 2.2 LLM-as-a-Judge 的坑:裁判也有偏见 Judge 是模型,就带模型的偏见。不知道这些坑,评出来的分会系统性失真: Judge 的三个典型偏见:位置偏好 / 长度偏好 / 自我偏好,及缓解办法位置偏…

#Agent#Deep Research#项目实战

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…"感知"优化的。 🧭 你刚才做的,等于真实系统的什么? 你的 QA(标好 gold chunk 的题)= 后续项目里可继续扩展的人工标注评估集；样本量应按资料类型、风险与统计稳定性决定，不能预填固定规模；你的 recall_at_k / mrr = 业界标准的检索评估指标,公式一模一样; 你这个"换方案再跑一遍对比" = 离线评估流程的最小演示:固定评估集,只改变被比较的方案,再记录结果。你手搓的是评估的内核;Part 2 讲完整的评估五维度、测试集怎么标、生成段怎么评…

#RAG#检索#项目实战

面试题·RAG

Embedding 和 Rerank 模型怎么选？什么时候值得领域微调？

匹配正文：…题上的表现。 Embedding 不能只看一个 Recall 数字 Recall@K 是 Embedding 选型的核心指标之一：人工标注的正确证据中，有多少出现在前 K 个候选里。但它不是唯一指标。首先要同时看不同 K 值。某个模型可能在较大的 K 下能找回证据，但在较小的 K 下排序很差，这意味着后续需要更大的候选集，Rerank 成本也会随之增加。反过来，如果 K 很小就能稳定覆盖正确证据，整条链路会更轻。其次要看证据覆盖和冗余。一个复杂问题可能需要两段不同证据，模…

#RAG#检索与重排#Embedding 模型选型

面试题·RAG

RAG 检索效果差怎么排查？从 Query 到 Rerank 逐层定位

匹配正文：…每一层定义一个可以判断通过或失败的输入输出。离线入库层的输入是原文，输出是带稳定 ID、来源位置和版本的可检索 Chunk。只要人工标注的正确原文无法在当前索引中按身份找到，这一层就没有通过。召回层的输入是实际 Query 与过滤条件，输出是两路候选；正确 Chunk 已在索引中却没有进入候选，才继续检查查询表达、Embedding、关键词字段和候选范围。融合与重排层不负责创造新证据。正确 Chunk 已经被某一路召回，却在合并、去重或精排后消失，问题才归到排序阶段。上下…

#RAG#生成与对话#RAG 检索优化

面试题·RAG

RAG 引用怎么做到可核验？为什么让模型自己标来源不够？

匹配正文：…”；答案说当前版本，证据却来自已停用版本。剩下的语义关系可以用 NLI 或另一个模型辅助判断，但自动判断不是最终真值。它仍需要用人工标注样本校准，尤其是政策、法律、医疗等高风险内容。一条事实还可能需要多段证据。如果问题要比较两个方案，分别来自两份文档，模型只引用其中一份，就无法支持完整结论。如果结论需要先找到规则，再结合例外条件，两段原文都应该进入引用。引用检查的三层判断矩阵先检查编号是否存在，再检查原文是否支持陈述，最后检查回答所需证据是否完整。 “一句话挂一个来…

#RAG#生成与对话#RAG 引用溯源

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…R 和 Faithfulness 分别看什么？ RAG 是一条链路，指标也要分层。检索层首先看 Recall@K。它回答的是：人工标注的正确证据中，有多少进入了前 K 条。一个问题需要两段证据，系统只找回一段，覆盖就不完整。 Precision@K 看另一个方向：前 K 条里有多少内容真的相关。把候选数量不断放大，Recall 可能上升，噪声也会一起增加。 MRR 关注第一条正确证据的位置。正确原文排第一和排在后面，都叫“找回”，但后续只截取少量上下文时，结果完全不同。 …

#RAG#评测与上线#RAG 评测集

面试题·推理优化· 字节

数据分层为何不用大模型?

匹配正文：…布、内存和并发，而不是由短输入自动否定。评测时应在同一硬件、相同精度和相同数据集上报告每秒样本数、端到端延迟、单位样本成本，以及与人工标注的一致率和置信区间。一种稳妥架构是级联。确定性规则处理格式、语言或明显垃圾；经过校准的小模型处理大部分清晰样本；不确定、冲突或高风险样本交给更强模型或人工。路由阈值不是拍脑袋设定，而要在验证集上根据边界样本召回、误杀成本和预算选择，并保留拒绝判断。如果要蒸馏，我会让强模型生成候选标签和解释，但用盲标gold集检查偏差，再训练专用分类器。…

#数据质量评估#模型规模权衡#成本效益分析

面试题·Agent· 美团

多智能体系统核心技术难点

匹配正文：答案要点能清晰区分集中式、分布式、混合式架构的适用场景能分析通信开销与一致性的 trade-off 能说明数据构造中人工标注与自动生成的平衡策略能解释性能提升来自并行化、专业化分工还是涌现能力能结合具体业务场景（如美团外卖调度）阐述技术选型核心技术难点通信与协调智能体间信息共享的带宽瓶颈：状态空间爆炸，需设计紧凑的通信协议（如意图向量而非原始观测）共识达成：分布式决策下的冲突消解，常用拍卖算法、合同网协议或基于LLM的协商任务分解与分配动态任务图的构建：子…

#美团#Agent#多智能体系统

面试题·Agent· 百度

反思机制原理与失败场景

匹配正文：…循环中插入显式批判步骤优势与权衡优势代价复杂任务成功率显著提升（数学、代码、多步规划） Token消耗增加2-5倍减少对人工标注反馈的依赖延迟增加，不适合实时场景可解释性增强（反思过程可审计）模型可能"过度反思"陷入循环落地要点反思有效的前提是基础模型具备足够的自我评估能力——通常需要>20B参数或针对性SFT。小模型建议用外部验证器（代码执行器、单元测试）替代自我反思。学习建议建议系统学习该知识点

#百度#Agent#反思机制

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…在线A/B测试的闭环迭代优化强调数据飞轮和失败案例挖掘以工具调用Agent为例，完整训练链路如下： 1. 数据收集种子数据：人工标注的(tool, query, trajectory)三元组，覆盖单步/多步调用合成数据：用强模型（GPT-4）生成候选轨迹，经规则过滤+人工校验关键：确保工具描述准确、边界case充足（调用失败、参数错误等） 2. 任务建模建模为部分可观测马尔可夫决策过程：状态=对话历史+工具返回，动作=Thought/Action/Finish 输…

#美团#Agent#Agent 训练链路

面试题·评估· 美团

Agent 训练 vs RAG 怎么选?

匹配正文：…/失败判定关键设计：工具描述用Few-shot强化，参数校验用代码硬约束四、两阶段学习策略阶段1：模仿学习（冷启动）来源：人工标注轨迹、规则引擎历史日志、GPT-4蒸馏训练：SFT + 思维链监督，重点学习工具选择时机和参数填充数据配比：成功轨迹70% + 失败恢复案例30% 阶段2：在线强化学习奖励模型：结果奖励（任务完成）+ 过程奖励（格式合规、不重复调用）算法选择：PPO初期稳定，DPO后期高效迭代关键技巧：引入"拒绝采样"过滤低质量轨迹，减少探索成本…

#美团#Agent#Agent 训练流程

面试题·评估· 高德

Agent 多工具如何评分选路?

匹配正文：… 每个工具注册时标注元信息：能力边界：输入输出Schema、支持的任务类型性能画像：历史成功率、平均延迟、调用成本质量评分：人工标注或离线评测的准确率 # 工具描述示例 tool_profile = { "name": "weather_api_v2", "capabilities": ["current_weather", "forecast_3day"], "latency_p99": 120, # ms "cost_per_call": 0.002, "succe…

#高德#评估与监控#Agent

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：…已知正确的文档强制替换检索结果，消除检索噪声实验组检索输入预期结果实际结论原系统真实检索Top-K - 基线黄金组人工标注的相关文档正确输出若仍错误→生成模块问题随机组随机不相关文档错误输出若仍正确→生成过度依赖先验关键判定：黄金组正确 + 原系统错误：提示原检索/排序/过滤/上下文组织可能有问题，还要区分漏召回与噪声、位置、截断。黄金组仍错误：先确认黄金证据充分、prompt和输入格式正确，再查生成与证据使用；不能仅凭该实验断言是幻觉。二…

#百度#评估与监控#RAG 错误定位

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：…表拦截上下文压缩：用LLM对检索结果去冗余，保留关键证据链五、评估方法维度指标方法检索质量 Recall@K、MRR 人工标注相关性生成质量事实准确性对比原文，用NLI模型检测幻觉可追溯性引用覆盖率检查生成内容是否都有来源支撑业务价值专家满意度领域专家盲评关键取舍：医疗法律对准确性极度敏感，宁可"检索不到"也不"生成错误"，需设置置信度阈值触发人工兜底。学习建议建议系统学习该知识点

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：…时），医疗场景必须设置"请咨询专业医师"风险提示四、评估机制（多维指标）维度指标方法检索质量 Recall@K、MRR 人工标注黄金文档集生成质量事实准确性（FactScore）、幻觉率领域专家审核 + NLI模型端到端答案有用性、合规性医生/律师打分 + 用户反馈闭环效率延迟P99、吞吐线上压测持续优化：Bad Case归因分析（检索失败？生成忽略？），针对性迭代。学习建议建议系统学习该知识点

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 高德

多工具评分排序机制

匹配正文：…索（试用新工具）与利用（选历史最优）间平衡反馈闭环工具执行后，将结果质量（是否需重试、下游任务是否成功）回流更新评分异常案例人工标注，定期重训路由模型降级兜底设置置信度阈值，低于阈值时触发"工具组合"或人工介入高德场景的特殊考量地图/导航类工具选择需额外关注：时效性：实时路况工具优先于历史统计工具地域覆盖：不同工具的服务范围存在地理边界精度分级：粗略定位用缓存数据，精细导航调实时算路学习建议建议系统学习该知识点

#高德#Agent#智能体工具选择

面试题·评估

RAG 检索语义相似但无关怎么解?

匹配正文：…治收集业务真实的<查询, 相关文档>对，微调Embedding模型引入指令微调：训练时显式区分"相似≠相关" 效果验证离线：人工标注Top-K命中率、NDCG@K 在线：端到端回答满意度、引用准确率

#Embedding#Rerank#RAG 检索相关性