匹配正文：…包括用户请求、允许暴露的会话状态和工具返回；动作只能来自白名单工具及其 JSON schema；终止条件包括成功、用户确认、步数/成本上限、超时与不可恢复错误。工具返回是不可信输入，不能把其中的文本提升为系统指令；高风险写操作还要有服务端鉴权、幂等键和人工确认。 2. 构造与切分数据收集成功轨迹、失败轨迹、取消/超时、参数缺失、工具拒绝、重复调用和越权尝试；日志先做隐私处理。合成轨迹必须执行验证或人工抽检，不能把教师模型输出直接当真值。按用户、模板或任务族切分训练集与评…

#美团#Agent#Agent 训练链路

面试题·评估· 美团

Agent 训练与迭代闭环怎么设计?

匹配正文：先把目标写成可验证的任务契约不要先假设一定要训练模型。先定义输入、允许读取的状态、可调用工具、成功和失败终态、步数/时延/成本预算，以及哪些写操作必须由用户确认。建立 prompt + schema + 受控工作流基线；只有错误分析证明模型的工具选择、参数生成或长期策略是主要瓶颈时，训练才有明确目标。 1. 构建可回放的隔离环境环境至少包含：版本化工具 API、最小权限测试身份、隔离数据、可控的超时/限流/部分成功/重复回调，以及稳定的事件与副作用记录。模拟用户可以扩充覆…

← 上一页第 14 / 30 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#Agent#训练闭环#工具调用

面试题·评估· 得物

Agent 上线要检查哪些关键环节？

匹配正文：…、错误副作用和权限拒绝。离线回归集覆盖正常、无权限、工具超时、重复响应、循环、取消和部分成功；线上先灰度，设置错误率、业务失败、成本和延迟护栏。反馈数据必须经过用途确认、去标识和质量审查，不能把点赞/点踩自动当成 RLHF 样本。常见故障与处置故障先确认的证据可选处置首 token 慢排队、prefill、缓存命中、输入长度 admission control、容量调整、缩短必要上下文工具结果不确定幂等键、业务流水、工具状态查询状态后重试或补偿 Agent…

#Agent#生产部署#工具调用

面试题·评估· 美团

RAG 工作原理与局限怎么分析?

匹配正文：…新、答案可溯源、幻觉显著降低、不需要重训模型局限:效果强依赖检索质量(切分不当/纯向量检索对 ID 类文本失效),链路长、延迟与成本上升与微调的边界:微调学「格式与风格」,RAG 注「事实与时效」,生产中常两者结合工作原理 RAG 的本质是把「模型参数里的知识」和「外部知识库」解耦。索引侧:把文档切成语义完整的块(避免固定长度一刀切把条款劈成两半,优先按标题/段落等结构边界切分),做 Embedding 后存入向量数据库。检索侧:纯向量检索对订单号、错误码等专有名词效果…

#美团#评估与监控#RAG 工作原理

面试题·评估· 美团

多路召回评估指标与RAG场景

匹配正文：…分析：分类bad case（漏召、误召、排序差）归因到具体策略 LLM辅助评估：用GPT-4等判断文档-Query相关性，降低标注成本三、RAG场景的组合策略分层评估体系离线阶段：各路独立评估Recall/Precision，筛选候选策略融合阶段：评估融合后的NDCG@K和覆盖率端到端阶段：最终生成答案的准确性（Answer-level metrics），这是RAG的北极星指标决策原则优先保证高Recall（设阈值如>95%），再优化Precision和排序不…

#美团#评估与监控#多路召回评估

面试题·评估· OPPO

搜索排序A/B测试权重设计陷阱

匹配正文：…贡献五、核心评估要点统计显著性：p<0.05且检验功效>80% 业务显著性：CTR提升需超过0.5%绝对值才值得全量（考虑工程成本）异质性分析：分人群（新老用户、高活低活）看效果差异，避免平均效应掩盖结构性问题学习建议建议先掌握A/B测试基本原理，再结合搜索排序场景理解指标设计与因果推断，多参考工业界案例加深理解。

#OPPO#搜索排序A/B测试#特征权重优化

面试题·评估· 字节

Agent 系统优缺点怎么分析?

匹配正文：…步骤多，错误会级联放大；ReAct 循环可能陷入死循环或过早终止场景影响：金融风控场景下，错误调用资金接口后果严重 2. 延迟与成本每步规划都需 LLM 推理，10 步任务 = 10 次调用，Token 成本指数级上升场景影响：实时推荐场景难以满足 200ms 响应要求 3. 工具可靠性外部 API 变更、返回格式异常导致 Agent 崩溃缺乏有效的中断恢复机制 4. 可观测性与调试长链路黑盒，难以定位哪一步规划出错三、与 RAG 的协同设计维度 RAG Ag…

#字节#Agent#Agent 系统优缺点

面试题·评估· 美团

RAG 缓解幻觉的机制

匹配正文：…n提升召回率核心优势 vs 典型局限优势可解释性：答案可溯源到具体文档片段时效性：知识库更新无需重新训练模型领域适配：低成本接入垂直领域知识局限检索质量瓶颈："Garbage in, garbage out"，漏检/误检直接传导至生成延迟开销：检索+重排增加100-500ms延迟上下文冲突：多文档信息矛盾时模型难以仲裁更新滞后：非结构化知识库维护成本高场景化设计考量场景设计重点优化方向医疗问答精确性优先多路召回（关键词+向量+知识图谱）、严格…

#美团#事实锚定#RAG 缓解幻觉的机制

面试题·评估· 蚂蚁

Agent 系统哪些模块最易出问题?

匹配正文：…oken 膨胀、摘要丢失约束、错误记忆写入和跨用户数据污染。模型与基础设施：模型路由异常、限流、队列堆积、首 token 延迟和成本突增。故障频率与严重程度取决于业务和架构，不能预设某一层永远“最高频”或“最致命”。二、分层监控层级建议指标基础设施请求率、错误率、排队时间、TTFT、总延迟、资源利用率模型调用模型版本、输入输出 token、重试、限流、结构化输出失败率、成本 Agent 运行时迭代数、状态迁移、工具成功率、超时、停止原因、人工确认率业务效…

#蚂蚁#Agent#AI Agent 稳定性

面试题·评估· 科大讯飞

RAG 解决了 LLM 哪些局限?

匹配正文：…态模型参数固化，无法感知训练后事件动态检索最新知识库幻觉问题编造不存在的事实基于检索到的真实文档生成更新困难全量重训成本极高只需更新知识库，零模型改动可解释性差黑盒输出，难以溯源引用来源透明，可追溯验证为什么知识密集型任务需要RAG 准确性要求高：法律、医疗、金融等领域容错极低，必须基于权威文档知识时效性强：政策、产品信息频繁变动，静态模型无法跟上合规与审计：需要明确回答依据，RAG的引用机制满足这一需求简单说，RAG把LLM从"闭卷考试"变成"…

#科大讯飞#阿里#RAG 架构

面试题·评估· 字节

召回策略怎么评估，Recall@K 怎么解释？

匹配正文：…索、修改过滤或融合参数后，结果未必是嵌套前缀。K 没有通用的 5–20。应画候选深度与 Hit/Recall、nDCG、延迟、重排成本、上下文证据保留和答案质量的曲线。检索阶段的 K 也不等于最终放进模型的片段数。去重、权限过滤、重排和 token 截断都可能把正确证据移除，因此要分别记录候选前、融合后、重排后和上下文后的覆盖。多路检索分别计算每一路的命中集合、重复率和独有贡献，再对去重并集和最终融合结果计算指标。只有命中事件独立时，1 - ∏(1 - r_i) 才能描…

#RAG#检索评测#Recall@K

面试题·评估· 淘天

RAG编码模型评估指标与对比

匹配正文：…ntriever 无监督预训练，利用大规模语料的连续句子对作为天然正样本核心思想：相邻句子语义相关，随机采样作为负样本优点：零成本获取训练数据，通用性强；缺点：特定领域可能不如有监督模型检索能力评估指标含义适用场景 Recall@K Top-K中命中正样本的比例关注召回完整性，RAG首选 MRR 首个正样本排名的倒数均值关注排序首位准确性 NDCG 考虑相关度等级的加权排序多等级相关性场景 RAG场景关键：优先看Recall@K（如Recall@5/10）…

#淘天#DPR 与 Contriever#RAG 编码模型评估

面试题·评估· 字节

RAG 三大瓶颈与迭代策略

匹配正文：…答案，降低幻觉拒答机制：相关性分数低于阈值时直接拒答，比胡说八道更安全三、系统效率瓶颈与优化核心问题：检索延迟高、吞吐不足、成本高索引分层：热数据HNSW内存索引、温数据磁盘索引、冷数据按需加载缓存策略：Query embedding缓存、热门问题答案缓存，命中率通常能到30-50% 异步流水线：检索与生成解耦，检索走异步批量，生成流式输出，降低TP99 量化加速：向量INT8量化、模型KV Cache优化，牺牲1-2%精度换2x吞吐四、迭代路径建议实际落地建议…

#字节#评估与监控#RAG 性能瓶颈

面试题·评估· 美团

LLM 幻觉治理方法对比

匹配正文：…优化（源头治理）做法：去重、过滤低质量/冲突数据、知识边界标注、课程学习效果：基础但长尾，无法解决训练截止后新知识问题局限：成本高，且模型仍可能"过度泛化" 2. RAG（检索增强生成）做法：外挂知识库，将检索到的相关文档拼入Prompt 效果：对事实性幻觉效果显著，可追溯来源关键：检索质量决定上限，需解决检索失败和内容冲突美团实践：结合实时业务数据（如商户信息）做领域RAG 3. 解码策略优化方法核心思想适用场景 Contrastive Decoding …

#美团#幻觉治理#LLM 幻觉治理方法对比

面试题·评估· 百度

Single-Agent vs Multi-Agent 怎么选?

匹配正文：…I模式）实时性要求高单智能体，避免通信延迟核心权衡：单智能体简单可控但能力天花板明显；多智能体扩展性强但引入协调复杂度和通信成本。学习建议建议系统学习该知识点

#百度#评估与监控#Agent

面试题·评估· 字节

BGE-M3 vs BM25 怎么选?

匹配正文：…负载上，比较BM25、BGE-M3各检索模式与混合方案同时报告Recall@10、Precision/MRR/NDCG、P99与成本歧义词要评估上下文与实体消歧，不能由歧义直接推出必须某个向量模型工程实践要点离线评估：构建标注集（query-doc相关性≥3档），避免线上AB测试周期长动态权重：根据query长度、实体密度自动切换（短query→BM25权重↑）成本核算：分别测embedding计算、索引、查询、更新和存储开销；硬件、索引与服务实现按预算选，不把某…

#抖音#BGE-M3 vs BM25#RAG 检索方案评估

面试题·评估· 字节

RAG 二次生成怎么减少幻觉?

匹配正文：…回答，请明确说明'根据现有资料无法确定'。" 强制模型建立生成内容与检索片段的显式关联便于后续溯源验证，也增加模型"说谎"的心理成本 2. 上下文优先级提示 "优先依据提供的参考资料，而非你的内部知识。当两者冲突时，以参考资料为准。" 明确知识优先级，缓解模型过度自信问题 3. 不确定性表达引导要求模型对低置信度内容使用弱化表达（"可能"、"据资料显示"），对无法确认的内容主动拒绝回答。约束生成策略 1. 检索结果强制绑定限制生成token只能从检索内容的词汇分布中…

#抖音#约束生成#RAG 幻觉

面试题·评估· 美团

召回阶段怎么评估质量?

匹配正文：…的倒数均值关注排序质量只关心首个结果，忽略后续 NDCG@K 考虑位置折扣的累积增益细粒度反映排序质量需要相关性分级标注，成本高 Hit Rate 查询是否命中相关文档极简，适合快速验证太粗糙，无排序信息核心痛点：离线指标基于"相关性标注"，但标注标准难统一（语义相关vs字面相关），且与最终用户价值存在gap。在线评估指标 CTR/曝光点击率：反映结果吸引力，但受标题党干扰转化率/任务完成率：RAG场景下看问题是否被解决用户停留时长、满意度反馈：直接信号，…

#美团#评估与监控#召回评估指标

面试题·评估· 高德

多工具评分排序机制

匹配正文：核心决策框架工具选择本质是多目标优化问题，需同时考虑：功能匹配度：工具描述与任务需求的语义相似度执行成本：延迟、调用费用、资源消耗历史表现：成功率、输出质量、用户满意度评分模块实现 1. 分层评分体系最终得分 = α·语义匹配分 + β·历史绩效分 + γ·成本惩罚项维度计算方式语义匹配用embedding模型计算工具描述与任务query的余弦相似度历史绩效滑动窗口统计近N次调用的成功率，引入时间衰减成本项归一化后的延迟/费用，作为负向惩罚 2. …

#高德#Agent#智能体工具选择

面试题·评估· 快手

LangChain 链式调用原理

匹配正文：…性：内置LangSmith追踪，无需埋点实际开发注意点过度抽象问题：简单场景直接用SDK更轻量版本兼容性：0.1→0.2迁移成本较高，建议锁定版本调试困难：链过长时中间状态黑盒，需配合verbose=True或回调学习建议建议系统学习该知识点

#快手#评估与监控#Agent

面试题·评估· OPPO

搜索排序权重如何做可信 A/B 测试？

匹配正文：…相关性，并写清归因窗和分母。CTR、CVR、会话深度可能方向冲突。护栏包括 P95/P99、空结果、无货、投诉/隐藏、公平、收入或成本风险。告警和自动停止阈值来自容忍损失、指标噪声和统计设计，不固定为下跌 5%。多组、多指标和切片分析预先定义校正或层级决策，避免事后挑显著结果。 4. 固定 A/B 与 Bandit 分开多臂老虎机会根据反馈改变分配概率，适合优化累计收益，但日志不再是等概率固定实验。若采用 ε-greedy、Thompson Sampling 或 cont…

#搜索排序#A/B测试#随机化

面试题·评估· 字节

Agent 系统优缺点与发展前景

匹配正文：…主完成中间过程主要缺点系统稳定性链式错误传播：前期步骤出错导致后续全部失效 LLM本身的不确定性被放大到整个执行链路效率与成本多次LLM调用+工具执行，延迟显著增加（秒级→十秒级） Token消耗不可预测，商业化场景成本敏感安全与可控工具权限边界模糊，过度授权有风险，限制过严则能力受限 "幻觉"从文本生成延伸到动作决策，后果更严重技术趋势与前景方向演进趋势架构单Agent → 多Agent协作（如MetaGPT、AutoGen），角色分工专业化规划 …

#字节#评估与监控#Agent

面试题·评估· 京东

RAG向量数据库选型关键指标

匹配正文：…+PQ：倒排+乘积量化，内存省、支持十亿级，查询稍慢（10-50ms），适合大规模稀疏访问 DiskANN：内存+SSD混合，平衡成本与性能，十亿级首选 2. 可扩展性水平扩展能力：是否支持分片（sharding）和动态扩缩容写入吞吐：批量导入速度、实时更新延迟（部分库写放大严重） 3. 延迟与成本权衡场景推荐方案在线QPS>1万、延迟<5ms 纯内存HNSW（Milvus/Zilliz）成本敏感、延迟可接受50ms DiskANN或IVF_PQ（Weaviate…

#京东#评估与监控#向量数据库选型

高并发 Agent 延迟卡在哪?

Agent 训练链路怎么搭建?

Agent 训练与迭代闭环怎么设计?

Agent 上线要检查哪些关键环节？

RAG 工作原理与局限怎么分析?

多路召回评估指标与RAG场景

搜索排序A/B测试权重设计陷阱

Agent 系统优缺点怎么分析?

RAG 缓解幻觉的机制

Agent 系统哪些模块最易出问题?

RAG 解决了 LLM 哪些局限?

召回策略怎么评估，Recall@K 怎么解释？

RAG编码模型评估指标与对比

RAG 三大瓶颈与迭代策略

LLM 幻觉治理方法对比

Single-Agent vs Multi-Agent 怎么选?

BGE-M3 vs BM25 怎么选?

RAG 二次生成怎么减少幻觉?

召回阶段怎么评估质量?

多工具评分排序机制

LangChain 链式调用原理

搜索排序权重如何做可信 A/B 测试？

Agent 系统优缺点与发展前景

RAG向量数据库选型关键指标