匹配正文：…模型，或者把 Top-K 调大。这三个动作都可能有用，但它们不应该成为排查起点。因为最终答案只是链路最后一层。错误可能早在文档解析时就发生，也可能是 Query 被改写带偏、过滤条件挡掉了正确文档、向量召回没找到、融合时被压下去，或者 Rerank 把正确证据排到了后面。如果连正确证据在哪一层消失都不知道，改参数更像碰运气。排查前，为什么先要有“正确证据”？如果只知道“答案错了”，排查没有参照物。系统返回的每条候选都可能看起来相关，但只有能够直接支持参考答案的原文…

#RAG#生成与对话#RAG 检索优化

面试题·Agent

首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？

匹配正文：…盖所有子问题、组织结构并在证据不足时保持边界。这三层可以相互影响，但不能用一个指标替代。JSON 合法率高，只能说明调用更容易被解析。一个工具调用成功，至少要过几道门？第一道是格式合法。工具名、字段、JSON 与角色能被控制器解析。第二道是工具选择正确。当前信息缺口确实适合这个工具，而不是习惯性调用。第三道是参数正确。查询保留对象、时间和约束，计算输入与任务一致。第四道是环境执行成功。工具没有超时、权限失败或返回空结果。第五道是结果被正确利用。模型理解了 obs…

#Deep Research#数据构造与训练#Deep Research SFT

面试题·Agent

Agent 从海量记忆里怎么找对内容？相关性、时间性和重要性怎样组合

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

匹配正文：…取几个结构化字段：主体是谁、任务或项目是什么、需要的记忆类型、时间范围、实体与关键词、当前目标、必须遵守的权限和预算。模型可以帮助解析自然语言，但主体、租户、权限和项目标识应来自可信上下文，不能由模型猜。查询改写也要保留原始问题。若改写错误，Trace 需要看见模型怎样把“昨天的方案”解析成某个项目。只有记录查询意图、过滤条件和候选变化，才能判断漏召回发生在理解、过滤、向量召回还是重排。一个任务可能需要多路检索。用户偏好走结构化属性查询，历史任务摘要走语义检索，最近事件走…

#Agent#记忆与存储#Agent 记忆检索排序

面试题·RAG

资料里没有答案时，RAG 怎么避免强行生成？

匹配正文：…，带例外的问题则必须同时找到通用规则和限制条件。系统不知道问题需要什么，就无法判断当前证据缺了什么。因此，可以先把 Query 解析成待验证要点，再逐项绑定证据。解析模型只负责提出检查清单，不负责补答案。某个要点没有原文支持时，它应留在缺失列表里，而不是由模型常识填上。这种设计也方便向用户解释：“已找到申请材料，但未找到办理时限”，比一个模糊的低置信度分数更容易理解和修正。怎样把“证据充分”落实到事实句？充分性判断如果只停在整道问题上，仍然容易漏掉局部编造。一个回答往…

#RAG#生成与对话#RAG 无答案检测

面试题·Agent

训练数据里 Search 太多，为什么 Agent 遇到什么都想先搜？

匹配正文：…始阶段需要搜索，证据已覆盖后应该停止。动作标签必须结合当前状态，而不是只结合原问题。第六类是环境状态。超时、空结果、权限受限和解析失败后，合理动作可能是重试、改参数、换源或降级。第七类是答案状态。有明确答案、需要计算、存在冲突、开放建议和证据不足，需要不同的完成策略。这些标签可以先粗后细，但必须能回答“为什么此时应该用这个工具”。为什么各工具样本一样多，仍可能严重偏科？假设训练集中 Search、Visit、calculator 和直接回答数量相等。如果 Se…

#Deep Research#数据构造与训练#Deep Research 工具选择

求职指南·求职

项目深挖:面试官会怎么一层层追问你的项目

匹配正文：…么、为什么不用纯大模型或微调为什么需要 RAG 文档处理你有没有碰过真实脏数据讲你的文档格式(PDF/表格/扫描件)、清洗和解析踩的坑文档预处理与切分 chunk 策略你的切分是拍脑袋还是有依据切多大、按什么切、试过别的没有、对召回的影响文档预处理与切分检索召回你懂不懂检索的取舍向量/关键词/混合怎么选,召回率怎么测、多少条测试集检索召回·混合检索 rerank 你的每个模块是不是都"知道为什么在" 选哪个 rerank 模型、不加会差多少、怎么量化的 …

#求职#职业转型

面试题·RAG

RAG 引用怎么做到可核验？为什么让模型自己标来源不够？

匹配正文：…需要两段证据时，引用怎样表示？文档更新和重新切分后，旧引用还能不能打开？引用为什么不是生成阶段临时加一下？引用链的起点在文档解析，而不是 Prompt。 PDF 在解析时不能只抽出一串纯文本。文字框、页面布局、表格和图片等内容经过处理后，还要保留页面与位置信息。Chunk 进入索引时，应该能回答它来自哪个文档、哪一页、哪个章节，以及原文在页面上的位置。这些 metadata 有不同职责。 doc_id 和 chunk_id 用来稳定识别内容。kb_id 用来限制搜索范…

#RAG#生成与对话#RAG 引用溯源

面试题·Agent

Deep Research 训练路线怎样选：何时用 CPT、SFT 或 GRPO？

匹配正文：…止和答案完整都要纳入 SFT 数据审核，只是不能期待一次监督学习就把所有新状态策略优化到位。 SFT 的退出标准至少应包括：格式可解析、工具调用能执行、Observation 角色正确、基本任务能闭环、没有大面积重复输出或缺失 final answer。还要有动作边界评测。若格式稳定但所有问题默认 Search，模型仍不是合格的 RL 起点，因为奖励可能把格式偏置继续放大。阶段二：GRPO 在优化什么？ GRPO 让模型针对同一个问题采样一组候选轨迹。每条轨迹在环境中真…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

求职指南·求职

领域八股速通:RAG / Agent / 评估 / 微调高频考点地图

匹配正文：…ompt 注入怎么防""长指令模型不听怎么办" 项目里怎么体现讲你怎么把 prompt 模板化、加约束和校验、用什么方式让输出可解析可回退刷题去 Prompt 工程题库。评估与监控(当前站内 121 条内容):练习如何定义和验证效果这是当前站内内容较多的模块,也是转行者最容易忽略的地基。面试问到底就一句:你凭什么说你的系统做得好?没有评估闭环,前面的效果结论就缺少证据。维度内容面试官在验证什么你有没有评估集、指标、LLM-as-Judge、badcase 闭环…

#求职#职业转型

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…第一类是任务结果。最终答案是否完成要求，事实与计算是否正确，开放题是否覆盖约束。第二类是格式与协议。 tool call 能否解析，角色是否闭合，是否产生唯一 final answer。第三类是证据。关键主张是否被 observation 支持，引用是否指向真实来源，是否把搜索摘要越界当原文。第四类是过程。工具选择和参数是否合理，是否无效循环，错误后是否恢复，证据足够后是否停止。第五类是安全与边界。是否遵守权限、来源限制，证据不足时是否承认不确定。这些分项最…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·Agent

多 Agent 怎么编排？固定流水线和 Supervisor 监督模式怎么选

匹配正文：…ine 不只是把多个 Agent 写成一个数组顺序调用。它描述任务依赖、节点输入输出、成功条件和失败边。例如研究报告流程可以是：解析问题，生成子问题，并行检索，合并证据，检查冲突，生成报告，评审核验。每个节点只读取必要 State，输出结构化工件。依赖明确的节点按顺序，互不依赖的子问题并行，所有分支结束后进入合并。固定流程的优势是可预测。测试可以覆盖每条边，Trace 能看见任务停在哪个节点，重跑可以从 Checkpoint 继续，成本与权限也容易估算。对有明确合规步骤的…

#Agent#多智能体与评估#多 Agent 编排模式

求职指南·求职

大模型系统设计和编码环节怎么准备

匹配正文：…量级(几千还是几百万)、用户并发、更新频率、准确性要求、有没有权限隔离不问就动手,默认一个自己想当然的规模数据与索引文档怎么解析、按什么粒度切块、元数据怎么带、索引多久重建、增量更新怎么做只说"存进向量库",说不清切块策略和更新机制检索/召回方案根据文档与查询比较关键词、向量、混合及可选重排,说明候选数与融合依据只上单路向量检索,答不上召回不全怎么办模型与 Prompt 选什么模型、上下文怎么拼、引用怎么带、幻觉怎么约束、要不要 function callin…

#求职#职业转型

面试题·Agent

Text2SQL 面对上百张表，怎样选对 Schema 并处理业务歧义

匹配正文：…小澄清问题，不能用模型猜测掩盖歧义。先给出 30 秒回答面对大 Schema，我不会把所有 DDL 直接塞给模型。先把用户问题解析成业务指标、维度、时间范围、统计粒度、过滤条件和实体，再通过业务术语词典、表列描述、主外键关系、示例值和权限生成候选表列。候选召回后要补齐 Join 路径，形成最小可执行 Schema，再让模型做字段映射。若“活跃客户”“收入”“上个月”存在多个合法定义，系统应比较候选解释和置信证据，提出一个能最大化消除歧义的澄清问题。评估要分别看表召回、列映…

#Agent#工具调用与安全#Text2SQL Schema 选择

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…题检查基本命中。口语改写题检查语义召回。否定和例外题检查条件理解。流程题检查多步骤证据。比较题和多跳题检查多段信息。表格题检查结构解析。无答案题检查拒答边界。如果一批题只是把“怎么报销”换成十种说法，数量看起来很多，知识覆盖仍然很窄。可以对照知识库目录、文档类型和用户任务做覆盖表，避免某一主题主导整体结果。评测集怎样从文档变成可执行数据？可以按七步完成。第一步，确定知识范围和版本。明确哪些文档属于本次评测语料。第二步，建立主题清单。按目录、文档类型和用户任务列出需要…

#RAG#评测与上线#RAG 评测集

面试题·Agent

Text2SQL 生成的 SQL 敢直接执行吗？安全校验与执行边界怎么设计

匹配正文：…式。关键认知是：模型输出永远是不可信计划。Prompt 里写“只生成安全查询”不能代替代码校验，关键词黑名单也不能代替 SQL 解析和数据库权限。安全要从生成约束、AST 校验、Schema 与权限、查询成本、隔离执行、结果审查和审计七层共同完成。 Text2SQL 的默认能力最好是只读查询。若业务真的需要修改数据，应作为另一类高风险工具，使用明确动作 Schema、Dry-run、人工确认、幂等和审计，不能让一个自然语言查询端点同时拥有任意写权限。先给出 30 秒回答 …

#Agent#工具调用与安全#Text2SQL SQL 安全

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…查正确证据是否在粗召回之外被其他路径带入上下文。如果答案事实无法回到本轮证据，这次结果不应被算成 RAG 链路成功。优先检查文档解析、Chunk 边界、Query 改写、过滤条件、Embedding 和召回策略。情况二：Recall 高，MRR 低正确证据找到了，但排得太靠后。优先检查混合检索融合、Rerank、时效性或权限过滤后的排序，以及最终上下文截断。这时继续扩大候选 K 可能不会解决问题，反而增加成本。更关键的是让最有用的证据进入模型实际可见的位置。情况三：…

#RAG#评测与上线#RAG 评估指标

面试题·Agent

一次 Deep Research 到底花了多少钱，为什么只看总 Token 找不到成本黑洞？

匹配正文：…第二，它看不到模型差异。同样 token 数在不同模型、地区、批处理或缓存定价下成本不同。第三，它看不到工具成本。搜索、网页解析、学术数据库和第三方 API 可能按请求或结果计费，不体现在 LLM token 里。第四，它看不到失败浪费。超时重试、重复任务、无效循环和最终取消都可能已经消耗资源。第五，它看不到成本与质量关系。更便宜的任务如果漏答、无证据或需要用户重跑，未必更经济。总 Token 适合看趋势，不适合做根因分析和单位经济判断。总 Token 与全…

#Deep Research#上线成本与评估#Deep Research 成本

面试题·Agent

Agent 能执行 Python 代码，怎样设计 Code Interpreter 沙箱才不会伤到宿主机

匹配正文：…，而不是先选容器技术。攻击来源包括用户主动提交恶意代码、提示注入让模型生成危险代码、模型无意写出死循环或大内存程序、上传文件利用解析器漏洞，以及第三方依赖被滥用。要保护的资产包括宿主文件、服务凭证、云元数据、其他用户工件、内部网络、数据库、计算资源和控制平面。主要风险可以分为五类：越权读取和修改文件；访问网络或内网外传数据；资源耗尽；跨任务数据残留；利用运行时或隔离漏洞逃逸。不同业务风险不同。只处理公开数据的离线分析，与可读取企业内部文件的代码 Agent，不应使用同…

#Agent#工具调用与安全#Agent 代码解释器沙箱

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…过程评估的目标是解释可靠性，不是制造一套容易迎合的仪式。环境失败怎样从模型能力中分离？ Search 超时、网页变更、权限限制和解析器故障会影响结果。 Trace 记录工具请求、状态、重试、版本和 observation。评估器先判断环境是否提供了合理完成条件。若环境故障，单独标记，不把它直接当模型事实错误；同时评估模型是否正确恢复或降级。模型利用不存在的工具结果仍然是错误，即使环境先失败。比较版本时环境失败率也要报告。某模型调用更多工具，暴露在环境故障中的机会不同。…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·Agent

Agent 线上答错一次，怎样用 Trace 和 Replay 定位到底哪一步坏了

匹配正文：…型调用应该记录什么记录模型供应或路由标识、模型版本、Prompt 模板版本、工具集合版本、结构化输入摘要、上下文长度、输出状态、解析结果、Token 使用和耗时分解。不要只保存最终文本。若模型输出 tool call，需要记录工具名、参数摘要、调用 ID、解析与 Schema 校验结果。若模型建议停止，需要记录结构化完成理由和随后验证器结果。原始 Prompt 可能含敏感数据，日志应支持脱敏、字段级访问和保留期限。可以保存内容哈希、模板、变量清单和受控快照，而不是把全部…

#Agent#多智能体与评估#Agent Trace 回放

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…即使需要综合分，也保留所有原始分项和硬失败原因。规则、LLM Judge 和人工怎样组合能确定的内容优先规则。JSON 是否可解析、工具名是否合法、测试是否通过、引用 URL 是否存在、权限是否拒绝，都不需要 Judge 猜。开放质量由 LLM Judge 按明确 Rubric 评分，例如覆盖、引用支持和结构。Judge 输出结构化分数、证据引用和理由，便于审计。人工用于标注基准、校准 Judge、处理高风险与争议样本，并抽检版本变化。自动评估扛量，人工保证方向。 J…

#Agent#多智能体与评估#Agent 评估体系

面试题·模型训练· 美团

批量文本清洗如何自动质检?

匹配正文：…elta Lake 分布式、ACID、版本管理实时流处理 Flink + Kafka 低延迟、exactly-once 复杂文本解析 Python + Dask/Ray 生态丰富，易定制规则质量模型推理 vLLM/TGI批量服务 GPU加速，吞吐优先四、效果评估体系量化指标：清洗率 = 过滤数据量 / 原始数据量误伤率 = 人工抽检中"好数据被删"占比残留风险 = 敏感信息检出率（目标>99.9%）验证机制：自动采样：每批次随机抽1000条人工复核 A/B回…

#数据清洗#数据预处理#数据流水线

面试题·项目与经历· 百度

大模型 vs 规则引擎怎么选?

匹配正文：…以执行很长的确定性决策链，并记录每个分支。它的优势是可复现、可审计、延迟稳定；问题是需求频繁变化时规则维护、冲突管理和非结构化输入解析可能很重。大模型的优势主要在语义层。它可以从邮件、合同、客服对话或自然语言政策中抽取字段，识别意图，生成候选解释，并处理规则难以枚举的表达变化。但它的输出会受prompt和上下文影响，可能遗漏条件或生成不存在的依据，不适合直接承担不可逆的最终决策。因此我会按职责拆层：大模型负责把非结构化输入转换成带证据的结构化候选，确定性校验检查格式、权限…

#技术选型#规则引擎#大模型决策

面试题·模型训练· 阿里

SFT prompt 模板设计原则与结构

匹配正文：…following sentence to English: {input} [/INST] {output} </s> 组成部分解析组件作用 <<SYS>> 系统指令锚点，定义模型基础行为 [INST] / [/INST] 用户输入边界符，明确指令起止 <s> / </s> 序列起始/结束标记，控制生成边界 {input}占位符动态注入具体数据，保证模板复用性工程实践要点严格对齐基座模型的chat template：不同模型的特殊token差异很大（如Qwen的<…

#Prompt Engineering#指令微调#数据格式设计