匹配正文：可视化用于提出诊断假设，超参数要靠对照实验决定训练曲线先对齐 step、有效 token、学习率、梯度累积和数据版本。训练损失下降而验证损失上升可能是过拟合，也可能来自验证分布变化、数据泄漏修复或评测噪声；训练与验证都不降则检查数据、实现、容量和优化。梯度直方图要结合每层参数范数、激活、更新量、混合精度缩放和累积步数解读。底层梯度比顶层小很多并不自动意味着给底层更小学习率，那会进一步减小更新；也不能仅凭单次比例反向给更大学习率。更可靠的量是相对更新，如学习率乘梯度范数再除…

#训练可视化#过拟合诊断#梯度消失/爆炸

面试题·模型架构· 商汤科技

幻觉一致性延迟诊断

匹配标题与标签：幻觉一致性延迟诊断按幻觉、输出不一致、延迟症状定位根因，补充适用边界与工程取舍模型架构幻觉问题输出一致性推理延迟模型对齐系统优化 2026真题幻觉一致性延迟诊断大模型问题怎么排查？幻觉、输出不一致与延迟诊断大模型缺陷修复幻觉解决方法模型输出不一致大模型架构与原理商汤科技

#幻觉问题#输出一致性#推理延迟

面试题·评估· 京东

知识型与行为型错误诊断

匹配正文：…事实正确率、工具成功、拒答校准、奖励投机和端到端成功率。RAG 与 RL 是互补组件，不是互斥万能方案。图解知识型与行为型错误诊断图解

#京东

第 1 / 5 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#RAG 与强化学习

#知识型与行为型错误诊断

面试题·评估· 小鹏

RAG 失败场景诊断

匹配标题与标签：RAG 失败场景诊断 RAG 失败类型及其诊断指标，补充适用边界与工程取舍评估小鹏评估与监控 RAG 失败场景诊断 RAG 常见失败场景怎么诊断？召回、上下文与生成 RAG 评估指标 RAG 系统效果检索增强生成评估小鹏

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：答案要点区分检索失败与生成失败的诊断方法关键指标设计（召回率、相关性、忠实度、答案相关性）消融实验与人工分析的结合典型错误模式的识别（检索不准、生成幻觉、协同失效）核心诊断思路：分层定位，逐层验证 RAG故障排查的关键是隔离变量，把端到端问题拆解到具体模块。第一层：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，…

#检索诊断#生成协同#RAG 效果诊断

面试题·RAG· OPPO

RAG 上下文不准确，如何用数据定位？

匹配标题与标签：…何用数据定位？冻结请求和版本，沿原文、权限、解析、候选、融合、上下文组装逐层回放，并建立隔离的数据集闭环。评估 RAG 上下文诊断数据质量权限评测集版本一致性字节

#RAG#上下文诊断#数据质量

面试题·评估

RAG 系统效果差怎么排查?

匹配标题与标签：…检索、上下文、生成与业务结果定位 RAG 故障，并用受控对照验证根因评估检索归因生成归因 RAG 系统故障排查检索生成系统诊断 RAG 效果优化

#检索归因#生成归因#RAG 系统故障排查

面试题·评估

RAG 效果差怎么排查？

匹配正文：答案要点明确区分检索问题与生成问题的诊断思路掌握检索侧的核心评估指标（Recall@K、MRR、NDCG）掌握生成侧的核心评估指标（Faithfulness、Answer Relevance、Context Precision）能够设计消融实验或黄金文档实验验证假设提出端到端追踪与人工分析的具体方法核心诊断思路：模块解耦 + 端到端追踪第一步：判断是否为检索问题黄金文档实验（Golden Document Test）将标准答案依赖的文档直接注入context…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

检索准但生成差，怎么调优？

匹配正文：答案要点能够系统性地拆解RAG链路，提出可量化的诊断方法掌握检索模块的独立评估指标（Recall@K、MRR等）掌握生成模块的评估维度（忠实性、相关性、流畅性）给出至少3种针对性的生成优化策略能区分"检索准但生成差"的典型场景（如上下文利用不足、指令遵循弱）一、系统性诊断：定位问题模块核心原则：将RAG链路拆分为独立可测的环节，避免"黑盒调试"。 1. 检索模块独立评估离线指标：计算Recall@K、MRR、NDCG，对比Top-K检索结果与人工标注的相关文档…

#上下文压缩#生成调优#RAG 效果诊断

面试题·RAG· OPPO

推荐结果不准，如何从曝光到业务结果定位？

匹配正文：…噪声当结论。不同人群指标差异不自动等于策略失效。例如新用户 GAUC 低还可能来自标签稀疏或可比样本不足；固定“低 15%”没有诊断意义。 3. Bad case 与反事实限制从实际曝光日志按问题切片、分数区间和结果分层抽样，展示当时候选、特征时间、排序分数、过滤与库存状态。人工标注应有清晰 taxonomy、双标/仲裁和来源证据。只抽“低分样本”会漏掉高分错误。历史日志只观察了已曝光 item 的反馈，未曝光 item 的反事实未知，并受位置和选择偏差影响。离线回放、…

#推荐系统#诊断#曝光日志

面试题·检索· 快手

RAG 延迟准确率根因

匹配标题与标签：…因定位，补充适用边界与工程取舍检索快手 RAG延迟与准确率 RAG 延迟准确率根因 RAG 延迟和准确率问题怎么定位？分层根因诊断 RAG 延迟 RAG 准确率 Agent 系统 RAG 快手

#快手#RAG延迟与准确率#RAG 延迟准确率根因

面试题·检索· 字节

RAG检索质量差：Embedding与Rerank调优

匹配正文：…的具体环节（召回率低/精确率低/排序差）提出至少3种具体技术方案说明方案适用场景和 trade-off 体现工程落地经验问题诊断：先定位失效环节召回问题：相关文档没进候选池 → 需优化向量表示或扩大检索范围精确问题：噪声文档混入 → 需过滤或重排序排序问题：相关文档得分低 → 需重排序模型或特征工程核心应对策略 1. 查询侧优化（Query Rewriting）意图澄清：用LLM扩展同义词、补全省略的主语伪文档生成：HyDE 用模型生成假设答案再检索查询分…

#字节#检索故障诊断#检索质量优化

面试题·Agent

ReAct Agent 为什么会死循环？停止条件和步数上限怎么设计

匹配正文：…。最重要的是监控上限命中样本。只统计“有多少任务达到上限”还不够，要查看它们是目标太复杂、工具失败、状态丢失还是阈值过低。上限是诊断入口，不是问题修复本身。工具失败时，到底重试、换工具还是询问用户可以按错误的责任归属和可恢复性判断。参数缺失或含义不清例如用户说“查一下那个订单”，系统无法确定订单 ID。不要让模型枚举猜测，也不要不断调用搜索。应明确询问用户，或在权限允许的候选很少时展示候选让用户选择。参数格式错误如果字段类型、枚举或范围不合法，先由 Schema…

#Agent#架构与规划#ReAct Agent 死循环

面试题·RAG

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

匹配正文：…需材料。如果程序只按纵坐标从上到下排序，左右两栏同一高度的文字会轮流出现。最终片段可能是“事故发生后联系机构，身份证复印件，提交诊断证明，合同复印件”。从词面看，它和理赔高度相关。检索器甚至可能把它排在前面。但它把动作与材料的层次打乱，模型无法判断哪些是步骤、哪些是附件。更合理的处理是先识别栏位边界，在栏内恢复顺序，再依据标题和区域关系组织内容。遇到跨栏标题时，还要判断它是整页标题，还是只属于某一栏。同一行被拆成多个文字框时，可以根据水平距离、字体、基线和标点合并。上…

#RAG#解析与入库#复杂 PDF 阅读顺序

面试题·Agent

Agent Planner 生成的计划为什么不能直接执行？怎么校验和动态重规划

匹配正文：…抽样人工审查，并把结论沉淀为新的规则或回归样本。这样计划质量会随着真实坏例积累，而不是只靠不断加长 Prompt。常见失败模式与诊断失败一：自动修复掩盖原始错误解析器发现工具名不存在，直接换成名字相似的工具继续执行。最终即使成功，也无法知道模型原本为何选错，更可能调用语义不同的能力。正确做法是保留原始计划、校验错误和修复版本。确定性的小格式错误可规范化，涉及语义的替换必须重新确认。失败二：每次 Observation 都整份重规划这会让计划抖动，已完成步骤不断改名…

#Agent#架构与规划#Agent 计划校验

面试题·Agent

朴素 ReAct 历史为什么越跑越重，长任务状态该怎样改？

匹配正文：…esearch 不是银弹。它用状态更新的复杂度，换取对长上下文的控制。任务很短时，这笔交换未必划算。 ReAct 长任务怎么做故障诊断？先看上下文组成。统计系统要求、用户问题、模型动作、工具结果和摘要分别占多少，不要只看总 Token。再看重复率。相同意图的查询、重复 URL、相似正文和已经关闭的任务是否反复出现。再看关键事实保留。把任务开始时的硬约束和中途确认的关键证据设为检查点，看后续步骤是否还能正确使用。再看错误传播。某个错误主张第一次出现在哪一轮，后面哪些动作…

#Deep Research#执行框架与长任务#ReAct 长任务

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…附近的证据跨度是否超过块长页面阅读顺序在解析阶段已经错误一组配置即使平均分领先，只要高风险条件题持续退化，也不能直接上线。这个诊断表的作用，是阻止团队把解析、入库和版本问题都错误归因给两个参数。参数改动上线时，为什么要把索引当成版本化产物修改切分参数意味着文档会生成一套新的 chunk ID、向量和索引。直接覆盖旧索引，一旦发现回归，很难快速恢复。更稳妥的流程是：保存切分配置、解析版本、Embedding 版本和评测集版本；用新配置构建独立索引，不覆盖当前可用版…

#RAG#切分与索引#Chunk Size

项目实战·Agent

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：… >= 0.70 else "fail") 确定性输出的总分是 0.585,所以教学阈值判为 fail。 rubric 聚合能帮助诊断,但不能让手填分数变成客观真值生产门槛可以组合为:权限越界、危险副作用和伪造引用任一出现即失败;其余维度报告均值、分位数与切片。权重和阈值要由误判代价、人工标注与上线决策校准,并版本化。 🎯 Part 2 · 面试深度 2.1 人工与自动评估都需要测量人工标注与自动评估需要相互校准专家也会不一致,自动规则也会漏掉语义。先写标注指南和边界…

#Agent#Deep Research#项目实战

面试题·Agent

Search 超时、Visit 受限、Python 报错时，Deep Research 怎样继续而不乱答？

匹配正文：…源或调整当前缺口。工具服务的内部堆栈保留在日志，不直接进入模型上下文。模型需要的是能改变下一步的结构化信息，工程团队需要的是完整诊断信息，两者不必相同。错误对象还要带工具和 Schema 版本。一次参数失败可能来自新旧契约不一致，没有版本就难以回放。一条完整的恢复决策链第一步，网关判断请求是否已经执行，以及工具是否有副作用。第二步，根据错误类型决定是否允许重试。只读调用更容易重试，写操作必须依赖幂等键和明确状态。第三步，检查当前重试次数、剩余预算和全局服务健康。即…

#Deep Research#研究工具与稳定性#Deep Research 工具故障恢复

面试题·Agent

Agent 工具返回成功就算完成了吗？调用、执行、业务成功要分三层判断

匹配正文：…续计划前暴露。步骤成功也不等于整个任务成功。最终任务还要检查所有必要步骤、跨步骤一致性、输出格式和用户约束。三层工具成功解决调用诊断，步骤与任务成功解决多步编排验收，两套层级不能混成同一个 done。工具契约怎样防止“假成功” 工具契约不应只描述输入字段，还要定义什么结果算执行成功。搜索工具返回空列表是否合法；访问工具拿到登录页而不是正文算不算成功；代码执行工具进程退出但测试没有运行算不算成功；这些都要写清。可以为每个工具准备输出 Schema 和语义断言。输出 Sch…

#Agent#工具调用与安全#Agent 工具成功判断

面试题·Agent

Agent 工具超时怎么办？重试、换工具、降级和停止怎样设计

匹配正文：…e 还要区分网络重试和策略换路。前者参数与目标不变，后者可能改写查询或选择不同工具。两者混在一个 retry_count 中，无法诊断问题。敏感参数只保存脱敏摘要或引用。错误堆栈进入受控日志，模型得到安全、结构化的 Observation。怎样做故障注入验收注入超时分别让工具在连接、读取和执行阶段超时，检查单次、步骤和任务预算是否生效，是否能及时取消无用请求。注入限流让上游返回限流信号，检查退避、抖动和服务建议等待是否被遵守，多个并发任务是否形成重试风暴。注入返…

#Agent#工具调用与安全#Agent 工具超时重试

面试题·Agent

首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？

匹配正文：…督 token、样本多样性和模型容量。超参数当然重要，但它不能修复错误标签、虚构 observation 和严重偏斜的数据分布。诊断顺序应从可证伪的错误原因开始，而不是把所有问题归给“训练不够”。规划数字为什么不能当成训练结果？首次记录里还写了从当前阶段继续扩展到更大样本量的建议，并给出工具比例、完整率和行业评测等目标。这些内容用于说明下一步方向，不代表相关数据已经生成、清洗、训练或验收。同一训练资料体系中还存在不同阶段的数量口径。若不区分“目标”“文件名”“清洗后…

#Deep Research#数据构造与训练#Deep Research SFT

面试题·Agent

Agent 从海量记忆里怎么找对内容？相关性、时间性和重要性怎样组合

匹配正文：…；不能因为候选过去被读取过，就继续保存在会话外缓存中供其他任务使用。不同失败症状应该检查哪一层漏召回、错召回和越权召回对应不同诊断路径。一个完整例子：继续上次的 RAG 评测用户说：“继续上次的 RAG 评测，还是先看召回问题。” 查询解析得到当前用户、当前工作区、RAG 项目、评测任务、关注召回阶段，以及可能的最近时间范围。硬过滤先排除其他用户、其他项目、无权读取、过期和被替代记录。候选生成分多路：按项目和任务 ID 查最近状态；语义检索历史总结与失败记录；精确查…

#Agent#记忆与存储#Agent 记忆检索排序

可视化怎么诊断训练问题?

幻觉一致性延迟诊断

知识型与行为型错误诊断

RAG 失败场景诊断

RAG效果差：检索vs生成怎么诊断？

推荐不准的分层诊断

RAG 上下文不准确，如何用数据定位？

RAG 系统效果差怎么排查?

RAG 效果差怎么排查？

检索准但生成差，怎么调优？

推荐结果不准，如何从曝光到业务结果定位？

RAG 延迟准确率根因

RAG检索质量差：Embedding与Rerank调优

ReAct Agent 为什么会死循环？停止条件和步数上限怎么设计

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

Agent Planner 生成的计划为什么不能直接执行？怎么校验和动态重规划

朴素 ReAct 历史为什么越跑越重，长任务状态该怎样改？

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

Search 超时、Visit 受限、Python 报错时，Deep Research 怎样继续而不乱答？

Agent 工具返回成功就算完成了吗？调用、执行、业务成功要分三层判断

Agent 工具超时怎么办？重试、换工具、降级和停止怎样设计

首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？

Agent 从海量记忆里怎么找对内容？相关性、时间性和重要性怎样组合