匹配正文：…或请求超时后，下游任务要能收到取消信号；无法取消的副作用任务要提供状态查询与补偿，而不是继续运行后让页面假装失败。 5. 可观测、评测与发布用同一 trace 关联模型、检索、工具、状态存储和业务结果，但默认不记录完整提示、密钥或用户原文。字段应最小化、脱敏、分级授权，并设置保留期和删除机制。监控既看系统指标，也看任务成功、人工接管、错误副作用和权限拒绝。离线回归集覆盖正常、无权限、工具超时、重复响应、循环、取消和部分成功；线上先灰度，设置错误率、业务失败、成本和延迟护栏…

#Agent#生产部署#工具调用

面试题·评估· 高德

Agent 多工具如何评分选路?

匹配正文：…时标注元信息：能力边界：输入输出Schema、支持的任务类型性能画像：历史成功率、平均延迟、调用成本质量评分：人工标注或离线评测的准确率 # 工具描述示例 tool_profile = { "name": "weather_api_v2", "capabilities": ["current_weather", "forecast_3day"], "latency_p99": 120, # ms "cost_per_call": 0.002, "success_rate…

#高德#评估与监控#Agent

面试题·评估· 美团

RAG 指标权衡与阈值

匹配正文：…意度为最终北极星指标。学习建议建议从准确性、相关性、事实一致性等核心维度入手，结合真实案例理解评估指标的实际意义，多阅读RAG评测论文并动手实现简单评估流程。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#美团#评估与监控#RAG 指标权衡与阈值

面试题·评估· 高德

Agent 有多个工具时如何安全选路？

匹配正文：…次不具可迁移性。部分成功时保留已完成步骤和失败原因。若主工具“可能成功但响应丢失”，先查询状态，不能直接换工具重复执行。 5. 评测与上线用带任务类型、权限和结果标注的回放集比较路由正确率、任务成功、错误副作用、P95/P99、成本和回退质量。新工具先 shadow，不让其结果影响用户；随后小流量灰度，并设置权限、业务错误、延迟和预算护栏。线上日志记录候选集合、过滤原因、各估计版本、最终选择、调用状态和业务结果。用户反馈只是证据之一，还需处理选择偏差：未被选择的工具没有…

#Agent#工具选择#权限

面试题·评估· 美团

召回阶段怎么评估质量?

匹配正文：…AG场景的特殊性传统检索评估止步于相关性，但RAG需要**"对生成有用"**的文档。因此出现新方向：端到端评估：检索+生成联合评测（如RAGAS、ARES框架）上下文利用率：评估检索结果是否被生成阶段有效使用美团场景：本地生活业务需考虑时效性（团购信息过期）、地理位置（LBS召回）等额外维度，评估更复杂。学习建议建议系统学习该知识点

#美团#评估与监控#召回评估指标

面试题·评估· 字节

RAG 文档检索选型

匹配正文：…字面信号两套索引增加延迟、成本和维护复杂度 RRF 只依赖名次，适合不同召回分数难以直接比较的情况；线性加权需要先校准分数，并用评测集确定权重，不能凭经验写一个固定值。 2. 优化顺序先按文档结构切块，并保留标题、章节和权限等元数据。用 query 类型分析决定是否改写、扩展或路由，避免所有查询都调用 LLM。评估召回集合后再考虑 Cross-Encoder 重排，防止用重排掩盖召回缺失。分别记录召回质量、P95 延迟、索引更新时效和单次查询成本。建立 bad c…

#字节#混合检索#RAG 文档检索选型

面试题·评估· 蚂蚁

Agent项目背景与技术方案怎么写?

匹配正文：…束与实验】。主指标【】从【真实基线】到【真实结果】，观察窗口【】，代价【】；失败切片【】，兜底【】。证据自检必须说清指标定义、评测集构造、防泄漏、A/B 单元、灰度和回滚；个人贡献应能落到提交、实验负责人或值班记录。若只能提供方案设想，应改称设计题而不是项目经历。追问入口可继续追问意图体系如何演进、表格等复杂数据如何处理、置信度是否校准、人工接管阈值、成本归因和前后回答一致性。

#蚂蚁#评估与监控#Agent 项目经验

面试题·评估· 美团

RAG 解决了哪些问题?

匹配正文：…务【真实场景】，语料来自【合法来源】，本人负责【真实范围】。基线在【样本与配置】下出现【失败】。我尝试【方案】并保留【代码/日志/评测记录】，结果【真实指标】；代价是【】，仍未解决【】。常见误区 “接入 RAG 就消除幻觉”：检索可能漏召回、召回错误或被生成模型误用，仍需引用校验、拒答和分层评测。 “新文档当天一定可用”：只有采集、审核、索引、权限和缓存全部更新后才成立，应实测更新时延。 “向量 + BM25 + Cross-Encoder 是标准答案”：是否需要每一层应由…

#美团#混合检索#RAG 技术

面试题·评估· 蚂蚁

Agent项目挑战与解决方案怎么讲?

匹配正文：…确标注的设计方案。回答框架问题与基线：原流程如何工作，失败发生在哪里，指标如何定义。职责与依赖：本人负责的规划、工具、记忆、评测或服务部分，以及团队依赖。方案与取舍：为什么需要 Agent，为什么不用确定性工作流；敏感动作如何控制。挑战闭环：给出一个真实故障，从现象、trace、根因、修复到回归。结果与限制：只使用真实、同口径、可复算的质量、延迟、成本和人工数据。事实填空在【真实场景】中，原流程【】，失败切片【】。我负责【】，方案为【】，关键工具或状态【】。一…

#蚂蚁#评估与监控#Agent 项目经验

面试题·评估· 滴滴

Agent 技术实际有效性怎么评?

匹配正文：…当前真实状态 Demo惊艳，落地困难：ReAct、Function Calling等模式在可控场景有效，但复杂任务成功率仍低（公开评测约30-60%）核心瓶颈：LLM的规划稳定性不足，幻觉导致工具参数错误，长程任务易偏离目标有效场景：单步工具调用、有明确SOP的流程、人机协同模式与宣传的差距 AutoGPT早期"全自动完成任意任务"的愿景已被证伪当前共识：Agent = LLM + 工程约束，而非自主智能体二、主流框架对比维度 LangChain/LangGrap…

#滴滴#Agent#Agent 技术评估

面试题·评估· 淘天

RAG 核心指标优先级

匹配正文：…端指标（如RAGAS、ARES）与组件级指标的区别强调事实性/幻觉检测的重要性提及业务场景下的实用指标（如延迟、成本）体现对评测方法局限性的认知 RAG评估要分两个层面来看：检索端和生成端，再加上端到端的整体评估。一、检索质量指标（决定上限） Recall@K / MRR：核心看相关文档有没有被召回，RAG的瓶颈往往在检索 NDCG：考虑排序质量，排在前面的文档相关性权重更高精确率：避免引入过多噪声文档干扰生成二、生成质量指标（决定体验）事实一致性（Faithf…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估· 蚂蚁

Agent 项目踩坑与恢复

匹配正文：…样本如何抽取？如果多 Agent 没有相对单 Agent 或工作流的受控对比，就不能声称效果更好。追问入口准备回答工具描述如何评测、状态如何一致、temperature 是否能解决参数错误、人工接管如何校准、缓存如何失效以及多 Agent 拆分的停止条件。

#蚂蚁#评估与监控#Agent 项目踩坑与恢复

面试题·评估

RAG 系统效果差怎么排查?

匹配正文：…析，标题、页码、表格与父子块关系是否保留；增量任务是否存在漏写、重复写、旧版本残留或索引与元数据不同步。 2. 召回与排序检索评测标注的是“支持证据”，不是字符串形式的最终答案。对冻结查询集计算 Recall@k、MRR 或 NDCG 前，先写清相关性等级、k、去重方式和无答案样本的处理规则；按资料类型、查询类型、权限和时间切片观察，避免总平均掩盖问题。一个有效的反事实实验是：把检索结果替换为人工核验且当前用户有权查看的证据。如果生成恢复，说明主要瓶颈在解析、候选资格、…

#检索归因#生成归因#RAG 系统故障排查

面试题·评估· 字节

大模型 Agent 优缺点怎么分析?

匹配正文：…走向物理世界，机器人、自动驾驶是终极场景 Agent即服务（AaaS）：标准化Agent能力封装，类似今天的API经济关键挑战评测体系缺失：没有像GLUE/SuperGLUE这样的Agent标准benchmark 规模化部署：从Demo到生产，稳定性、可观测性、成本控制人机协作范式：何时自主、何时确认、何时交接，边界模糊个人判断：未来1-2年，垂直领域的"窄Agent"会先落地（如编程助手、测试Agent），通用Agent受限于模型推理能力，仍需等待GPT-5级别的突…

#字节#Agent#大模型 Agent 优缺点

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配正文：…{i=1}^{|Q|}\frac{1}{\text{rank}_i} 其中 rank_i 是查询 i 的第一个相关结果所在排名；若评测截断范围内没有相关结果，该查询记为 0。排第 1、2、3 位时，倒数排名分别为 1、0.5 和约 0.33。在 RAG 中的意义 MRR 对首个有效证据能否尽早出现很敏感，适合评估只向生成器提供较少候选的排序链路。它只使用第一个相关结果的位置，不衡量后续相关证据是否齐全，也不能直接代表生成答案是否正确或忠实。多阶段检索应分别记录初召回和重…

#百度#评估与监控#MRR 定义

面试题·模型微调· 百度

Tool Calling 技术路径怎么选?

匹配正文：…/工具描述不足时再评估。新增工具不一定必须重训，但任何模型都可能错选或错填参数。这些层可以组合，也可以省略。提示、schema、评测和维护都有成本，不能把“改 prompt”称为零成本。并发、失败和副作用只有互不依赖且顺序不影响结果的只读调用才并行。写操作使用稳定的幂等键、状态机和结果对账；超时后结果未知时先查询状态，不能直接换新键重做。区分参数错误、权限拒绝、限流、临时故障、部分成功和取消，分别采取修正、拒绝、退避、补偿或人工处理。退款、发送消息、删除和跨账号读取需…

#百度#模型微调#Tool Calling 实现

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配正文：…内负样本也要防止不同 query 共享答案导致误标。 3. 数据切分与去泄漏按 query、文档来源、时间或用户场景切分训练集和评测集，避免同一问题改写、近重复文档或同一事件跨集合泄漏。线上日志应保留采样策略、召回器版本和曝光位置，便于重放。 4. 训练与闭环比较点式、对式或列表式损失，并在固定召回候选上评估 MRR、NDCG、Recall@K、校准、延迟及最终答案质量。上线后回流高分误召回、低分漏召回和用户纠错，定期重新挖掘难负样本。结论：高价值数据来自真实候选分布和…

#美团#重排与优化#Reranker 训练数据

面试题·模型微调· 科大讯飞

Prompt 怎么设计和优化?

匹配正文：…化成绩”。回答框架任务与失败定义：输入、输出、错误类型、主指标和线上约束。初始基线：模型及版本、原 Prompt、解码参数、评测集和基线结果。迭代过程：每轮只改变有限变量，例如指令分层、上下文、示例选择、结构化输出或校验。因果验证：固定模型与数据做单变量对照，按切片报告质量、格式成功率、延迟和成本。上线治理：版本化、灰度、回归集、监控、回滚和敏感输入处理。事实填空任务是【真实任务】，模型版本【】，基线 Prompt【】，评测集【来源/规模/切分】，主要错误【】…

#科大讯飞#阿里#模型微调

面试题·模型微调· 字节

RAG 技术原理与架构怎么搭?

匹配正文：…ERT（平衡）三、最佳实践环节关键做法文档切分按语义段落切，256-512 tokens；重叠窗口作为待测变量，并用同一评测集验证边界证据、召回与成本检索策略稠密+稀疏混合（RRF融合），复杂场景加知识图谱查询优化 HyDE（假设文档嵌入）、Query扩展、多Query生成上下文处理重排序精筛Top-5，过长时压缩或摘要生成控制要求模型标注引用来源，方便事实核查四、核心挑战检索失效：Query与文档语义鸿沟→用Query改写或HyDE缓解上下文窗…

#字节#RAG 最佳实践#RAG 技术原理

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：…-based句子嵌入判断边界领域特性：医学/法律需保留完整条款上下文，代码按函数/类切分块大小与重叠窗口都作为候选变量，用同一评测集比较证据完整率、召回与成本二、向量化：选型与微调 Embedding模型选择场景推荐方案通用领域 BGE-M3、E5系列垂直领域领域语料微调M3-E或自研多语言多语言专用模型微调要点：用领域内的(query, doc)正例对+In-batch负采样，提升领域语义对齐三、检索策略：多路召回+精排用户Query → 改写/扩…

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…D-10编码、法律法条编号），统一同义词分块策略按语义边界切分（章节/段落），chunk size 由资料结构、模型输入限制与评测结果决定是否启用重叠窗口及其长度都作为候选，用同一评测集验证边界证据与冗余成本关键元数据注入：文档来源、发布时间、置信度标签二、检索模块：精准召回 Embedding选型基座模型：GTE-large、BGE-M3通用能力强；领域数据充足时微调（如PubMedBERT医疗版）微调方法：对比学习+难负例挖掘，batch内动态难负例提升显著…

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 百度

大模型知识库怎么构建?

匹配正文：…HTML去标签噪声过滤：去除页眉页脚、广告、重复内容语义分段：按主题或段落切分，长度作为候选变量，由文档结构、模型输入限制与评测结果决定比较零重叠、短窗口与较长窗口，用同一评测集验证是否减少信息割裂质量评分：用规则+小模型过滤低质量片段三、向量化（Embedding）模型选型场景推荐模型通用中文 BGE-M3、GTE、ERNIE 垂直领域领域数据微调后的模型多语言 E5-mistral、BGE-M3 优化技巧对Query和Document分别设计Pr…

#百度#大模型知识库构建#知识库向量化

面试题·模型微调· 字节

RAG 检索噪声 3 大策略

匹配正文：…tpotQA 多文档联合推理，考察噪声过滤能力 FiQA/SciFact 金融/科学领域，垂直场景评估实践建议：业务落地必建自有评测集，覆盖真实Bad Case分布。

#字节#RAG 检索噪声#RAG 数据构建

面试题·模型微调· 百度

Prompt Engineering 关键原则有哪些?

匹配正文：…ering 是什么它在不更新模型参数的情况下，用指令、上下文、示例和输出约束改变单次或一类请求的行为。它仍有 token、延迟、评测、维护和安全成本，不能称为“零成本调教”。先定义任务与验收集，再迭代提示；仅凭几个示例感觉更好不算验证。常用方法与边界 1. 指令和输出契约明确目标、输入边界、受众、允许使用的资料和失败时的行为。需要机器消费时使用模型/API 支持的结构化输出并做服务端 schema 校验；提示里的“必须输出 JSON”本身不是格式保证。 2. Few-s…

#百度#模型微调#Prompt工程