匹配正文：…数据中 Search、Visit 轨迹占比较高可能导致模型偏向搜索。这是一次小规模定性观察。它支持“需要检查训练动作分布”这个诊断方向，不支持计算某个工具的生产偏置率，也不能证明只要降低 Search 数量就一定改善。材料中的后续工具比例与样本数量属于阶段建议，不是已经执行并验证的实验结果。因此正文不会给出“把 Search 调到某个比例就提升多少”的结论。正确做法是根据自己的任务、轨迹和评测验证。工具选择数据至少要标哪些状态？第一类是知识稳定性。稳定常识可能直…

#Deep Research#数据构造与训练#Deep Research 工具选择

面试题·Agent

Deep Research 训练路线怎样选：何时用 CPT、SFT 或 GRPO？

匹配正文：…项目的能力依赖。如果基座很少生成合法 tool call，直接 RL 往往缺少可比较候选，此时先用 SFT 建立可执行起点更容易诊断。若模型已经通过协议和任务门槛，则可以直接评估固定工作流、SFT 或 RL，无需补做 CPT。只有领域或行动分布缺口明确、数据许可和质量可控、同预算消融显示净收益时，才保留 CPT。只有环境可重放、reward 可解释、候选有区分度且独立评测改善时，才保留 RL。阶段顺序、是否跳过以及是否停止，都由基线失败与回归证据决定。后续 SFT、RL…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

面试题·RLHF与对齐· 美团

Agent 奖励如何对齐目标并防作弊?

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

匹配正文：…能草率关闭工单；代码只奖励公开测试通过，模型可能硬编码样例。要先写清成功、失败、约束和终止条件，再决定哪些信号进入训练，哪些只用于诊断。长视野任务常只有终局结果，可以加入里程碑、过程验证或价值估计帮助信用分配。但中间奖励会改变优化目标。经典potential-based shaping在特定形式下可保持最优策略不变；普通的距离奖励若设计不当，可能让Agent停在容易拿分的局部位置，甚至绕路刷奖励。多目标不要急着压成一个总分。任务正确、安全、成本、延迟和风格应分别记录；不可…

#奖励工程#RLHF#稀疏奖励

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…分母只剩防除零的小量，实质上没有可靠排序信号。实现不应把微小数值噪声放大成巨大更新。可以识别同奖或低方差组，再按失败原因选择保留诊断、降低采样、重采样或调整任务。DAPO 在长 CoT 数学任务中使用过采样并过滤准确率全 0 或全 1 的 prompt 组，将其称为 dynamic sampling；这是具体方法与任务设置，不能泛化成所有 GRPO 的默认步骤。只有组内总 reward 相同，标准化优势才为零。若 reward 还包含格式、过程或安全分项，“全对/全错”未…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·Agent

多 Agent 怎么编排？固定流水线和 Supervisor 监督模式怎么选

匹配正文：…真实运行证据时，只给评测设计和判定规则，不虚构路由准确率、完成率、成本或时延。 Pipeline 与 Supervisor 的失败诊断矩阵路径错误、角色执行错误、状态错误和完成误判需要分层定位。上线前要做哪些故障演练让 Worker 返回缺字段、空结果、重复工件和互相冲突的结论，检查验证器是否挡住。让 Supervisor 选择不存在或无权限的角色，代码层必须拒绝。让它连续派发同一任务，进展检测与预算应终止循环。让并行分支部分超时，合并节点按关键性决定等待、重试、降…

#Agent#多智能体与评估#多 Agent 编排模式

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…置。 RAG 各层指标与问题定位矩阵检索指标回答“证据找得怎样”，生成指标回答“模型怎样使用证据”，二者不能混成一个总分。举个诊断思路。 Recall@K 下降时，可以检查解析、Chunk、Query、过滤和召回。Recall 正常而 MRR 下降，融合与重排更值得优先检查。正确证据已经排在前面，Faithfulness 却下降时，再看 Prompt、上下文组织和模型生成。一个总分无法给出这种定位能力。开发集、回归集和保留集为什么要分开？开发集用于日常调试。调整 …

#RAG#评测与上线#RAG 评测集

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…命中能回答问题的具体段落”会被混成一件事。评测前要明确相关性落在哪一层。文档级适合判断正确资料有没有被找到。Chunk 级适合诊断切分与检索。信息点级适合多段证据问题，它记录每个答案要点需要哪一段支持。引用评测还要进一步落到答案陈述与证据位置的对应关系。粒度不统一时，两个系统的分数没有可比性。一个系统返回整份长文档，文档级 Recall 可能很好；另一个系统精准命中答案段落，却因为 Chunk ID 与文档级标注不一致被误判。同一套版本对比必须使用相同的知识库切分版本…

#RAG#评测与上线#RAG 评估指标

面试题·Agent

一次 Deep Research 到底花了多少钱，为什么只看总 Token 找不到成本黑洞？

匹配正文：…或敏感关键词，不应作为普通标签传播。更合理的做法是：指标保留受控维度，Trace 保留 task 级关联，日志保存经过脱敏的必要诊断字段。用户输入与工具原文进入权限更严格的存储，并按保留策略管理。看板发现某个问题族成本异常后，再通过 trace ID 下钻具体任务，而不是把所有明细复制到指标。标签字典需要版本化。问题分类规则变化时，历史与新数据不能静默使用同名不同义的标签。可观测系统自身也有成本。无限增加标签和全量日志，可能为了监控成本又制造新的成本黑洞。 Trace…

#Deep Research#上线成本与评估#Deep Research 成本

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…、引用不存在、权限越界和任务完全未完成可以直接判不通过。覆盖、结构、效率和部分过程维度可以分档或加权。总分用于排序和看趋势，但诊断必须保留各维度。若只保存加权总分，引用退化可能被可读性提升抵消。权重来自任务风险，不是教程中的教学数字。不同任务族可以有不同配置。评分前还要定义每档锚点和例子，减少 Judge 和人工理解差异。权重或 rubric 更新后，历史结果标记版本，必要时对固定样本重算，不能直接拼接两套分数。开放答案没有唯一标准，怎么评？开放不等于无法验证。…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…uery Embedding 或特定范围内的检索结果。缓存不是事实主存，清空后系统仍然要能正常工作。日志与追踪系统保存处理过程和诊断数据，但要控制敏感内容和访问权限。 RAG 各类数据的存储职责矩阵原文件、业务状态、检索内容、缓存和 Trace 的生命周期不同，不能因为都与 RAG 有关就放在同一套存储里。所有存储之间需要稳定 ID 关联。文档版本改变时，检索 Chunk、引用、缓存和评测样本才能知道自己对应哪一版资料。失败和降级应该怎样设计？系统投入运行时，失败不…

#RAG#评测与上线#RAG 系统设计

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…ge A 打 reward，发布也只看同一个 Judge A，模型可以直接针对 A 优化。更稳妥的做法是训练 reward、开发诊断和最终验收使用部分独立的规则、数据与 Judge。核心事实硬门可以共享，因为它们来自可验证证据；开放偏好维度应保留独立 holdout。最终评估集的问题族、来源和样本不进入训练数据，也不在日常调参中反复曝光。可以使用 shadow Judge 和人工样本监控主 Judge 漂移。隔离不代表完全不同，否则无法比较；它意味着不让一个可被优化…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·模型训练· 美团

训练曲线异常怎么排查？

匹配正文：训练曲线是诊断线索，不是单独的故障判决器。loss反映当前目标在采样数据上的平均误差；learning rate反映优化器给更新设置的时间尺度；gradient norm描述梯度整体大小，但会受到参数规模、损失归一化、混合精度和分布式聚合方式影响。 loss平稳下降通常说明优化在推进，突然尖峰可能来自异常batch、数据长度变化、学习率过大、精度溢出或恢复状态错误。持续上升也可能是数据配比切换或目标定义变化。过早变平则可能是学习率太小、可训练模块不足、数据重复、模型容量受限，…

#训练监控#学习率调度#梯度裁剪

面试题·模型训练· 阿里

模型收敛怎么判断?

匹配正文：…batch、学习率、精度溢出和恢复checkpoint；若缓慢下降但验证任务停滞，可能是目标与业务指标不一致。梯度范数适合做异常诊断，但没有跨模型通用的正常绝对值。它受参数规模、归一化、损失缩放和分布式聚合影响。更有意义的是与同配置历史run比较，查看非有限值、持续突变、各层梯度分布和参数更新相对权重的大小。gradient clipping是稳定手段，裁剪阈值也应通过基线与日志标定。验证侧要选择与任务相符的指标。语言建模可看验证loss或PPL，SFT还要看指令遵循、格…

#模型收敛#损失曲线#早停策略

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：…率、事实性、指令遵循、拒答、长度和人工偏好。不同长度或不同tokenizer的PPL不能直接混比，平均值也可能掩盖某类样本退化。诊断时先排查验证管线是否稳定，包括mask、padding、数据预处理和评测模型版本。再按任务、来源、长度和难度分桶观察训练与验证差异。训练样本上的模板记忆、长答案复读或罕见提示失效，可以作为辅助证据，但不能用一个固定loss gap宣判过拟合。缓解顺序从数据开始：去重、修正标签、增加覆盖不足的真实样本、降低模板集中度，并重新检查切分。训练侧可以…

#过拟合识别#训练监控#正则化策略

面试题·模型训练· 网易

SFT 后置信度下降怎么办?

匹配正文：…ax、temperature、eval mode、label map、checkpoint 或 dtype 不一致。修复必须跟随诊断。如果准确率稳定且 NLL/ECE 改善，保持现状可能更合理。如果只是概率尺度系统性偏差，在独立校准集拟合 temperature；T>1 使分布更平，T<1 使分布更尖，但温度应优化得到，不应人为设定。若能力下降，则回退学习率、恢复分类头、调整解冻范围、修复数据和标签。Label smoothing 通常使分布更平，不适合作为“低置信”的默认…

#模型校准#过拟合#温度缩放

面试题·Agent· 同花顺

Agent 实现 AGI 面临哪些挑战?

匹配正文：…工具调用是"检索式"而非"理解式"：能查API文档但不会真正理解工具原理无法自主发现新工具或组合现有工具创造新能力工具失效时的诊断和修复能力几乎为零 3. 持续学习与记忆无有效的在线学习机制：每次交互不真正更新模型能力记忆系统停留在"存储-检索"，缺乏抽象、遗忘和知识整合无法像人类一样从少量示例中快速掌握新技能 4. 多Agent协作的复杂性简单协作可行，但涌现行为不可预测，难以保证系统稳定性目标对齐、资源竞争、通信开销缺乏理论框架 5. 价值对齐的深层困境奖…

#同花顺#Agent#Agent AGI 挑战

面试题·Agent· 字节

Agent 架构的取舍与适用条件

匹配正文：…5秒延迟不适合Agent：单轮问答、FAQ类（纯RAG或Prompt即可）延迟敏感（如实时客服首响<1s）容错率极低（医疗诊断等）字节实际案例参考：抖音电商客服中，简单退换货走固定Workflow，复杂纠纷升级Agent处理，兼顾效率与灵活性。学习建议建议先掌握大模型基础能力与RAG流程，再学习Agent的决策、规划、工具调用机制，结合实际案例对比端到端模型与Agent的优劣。

#字节#Agent#Agent 架构

面试题·Agent· 蚂蚁

Agent 工具调用失败怎么处理?

匹配正文：核心设计原则：分层反馈 + 状态驱动决策一、错误信息暴露策略（分层控制）层级暴露内容适用场景受控诊断经脱敏的错误码、参数路径和可修复摘要如缺字段/枚举错误；不向模型发送凭据、内部堆栈和敏感参数语义化摘要 "认证失败"/"数据不存在" 通用场景，避免信息过载完全屏蔽仅返回"工具不可用" 安全敏感或外部不可信工具关键判断：先满足最小信息与敏感数据策略，再按可修复性和实测错误处理能力选择反馈；不存在7B/70B的通用能力门槛。认证由可信服务处理，不把访问tok…

#蚂蚁#Agent#Agent 工具调用失败

面试题·Agent· 蚂蚁

Agent 调用链路容错机制

匹配正文：…参数 5. 用 Trace 验证策略是否有效每个节点至少记录 trace_id、耗时、错误类型、重试次数、幂等键和最终降级路径。诊断时先确认失败集中在哪个依赖，再检查重试是否放大流量、熔断是否及时，以及降级结果是否保持一致。项目事实填空如果需要结合本人项目回答，只补充可核验内容：调用链包含【真实模块】；总超时和单节点超时来自【真实约束】；重试仅覆盖【真实错误类型】；一次故障通过【真实 Trace 或日志】定位；降级和回滚经过【真实验证方式】。没有记录的数据应明确说明未统…

#蚂蚁#Agent#Agent 容错设计

面试题·Agent· 得物

Agent vs Workflow 怎么选?

匹配正文：…解目标后即兴发挥"。需要Agent的典型场景信息动态变化：价格监控、竞品分析、实时数据整合多步骤推理复杂：法律合同审查、医学诊断辅助、科研文献综述工具组合不确定：需要根据中间结果决定下一步调用什么API 容错要求高：网络波动、API限流时需自动降级或重试反例：固定审批流、定时报表生成、简单ETL——这些用Workflow更可靠、成本低。 Agent的核心能力优势规划（Planning）：将复杂目标拆解为可执行的子任务序列推理（Reasoning）：链式思考（Co…

#得物#Agent#Agent vs Workflow

面试题·文档处理· 字节

长文档 Chunking 怎么选?

匹配正文：…ding相似度判断断点主题内聚性强计算成本高、阈值难调概念密集的领域知识库专业领域特殊考量医学场景特点：术语长、症状-诊断-治疗链条长、表格多推荐：递归切块+语义边界混合，保留完整病例段落；表格单独处理或作为metadata 块大小：512-1024 tokens，过小会切断诊疗逻辑法律场景特点：条款引用多（"依据第X条"）、层级结构严格（编-章-节-条）推荐：结构化解析优先，按条款编号切分；添加父级标题作为上下文前缀特殊处理：法条引用关系需建图索引，不…

#字节#RAG Chunking#长文档切分

面试题·文档处理· 字节

医疗法律文档切块

匹配正文：…场景医疗/法律领域的实践要点 1. 优先保结构法律：以"条款→款→项"为最小单元，而非固定长度医疗：以"主诉-现病史-检查-诊断"等病历章节为边界 2. 元数据增强 chunk = { "content": "...", "source": "民法典第X条第X款", "parent_section": "合同编", "related_chunks": ["id_xxx", "id_yyy"] // 引用关系 } 3. 重叠策略（Overlap）比较零重叠、短窗口和较长…

#字节#医疗法律文档切块#医疗和法律文档怎么切块？结构、语义与引用边界

面试题·评估· 蚂蚁

Agent 系统哪些模块最易出问题?

匹配正文：…外部观察已经足够定位大多数问题。日志要做字段级脱敏、访问控制、保留期限和采样，密钥、个人信息及高风险工具结果不能原样落盘。四、诊断与演练按延迟分解、失败状态和工具依赖定位瓶颈，再用相同输入、模型版本和工具快照进行可重复回放。混沌测试可注入工具超时、限流和返回格式变化，但应在隔离环境或无副作用模式下进行。结论：可观测性的核心是还原输入、结构化决策、工具调用和状态变化，而不是暴露模型的私有推理过程。图解 Agent 系统哪些模块最易出问题?图解

#蚂蚁#Agent#AI Agent 稳定性

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配正文：…事实性要求高的场景长上下文处理差分层检索（摘要→细节）、递归检索、信息去重合并需要多文档推理的复杂问题三、迭代实践建议先诊断后优化：用错误案例分析定位是检索失败还是生成失败建立回归测试集：覆盖高频Query和边界Case A/B验证：离线指标提升≠线上效果提升，需小流量验证学习建议建议系统学习该知识点

#字节#评估与监控#RAG 评估