匹配正文：… 上线前后的性能优化:先测量,再定目标离线评估达到门槛后,还要验证延迟和并发。缓存是候选手段之一,是否值得做取决于重复查询比例、数据新鲜度和一致性要求: 上线优化:三层缓存 + ANN + 并发 + 流式三层缓存(按需选择):① Embedding 缓存(重复 query 不重算)② 检索结果缓存(热门问题复用文档列表)③ 答案缓存(适合答案稳定、可正确失效的 FAQ)。可用 Redis 等缓存实现并设置 TTL,同时验证命中率与陈旧风险。 ANN 索引(HNSW):减少…

#RAG#检索#项目实战

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

面试题·Agent

Agent 工具返回成功就算完成了吗？调用、执行、业务成功要分三层判断

匹配正文：…返回最终 URL、内容类型、抽取状态和正文摘要；若拿到验证码页，就应返回受阻，而不是把一段 HTML 当作成功正文。契约还要定义数据新鲜度和完整性。缓存命中可以是执行成功，但若用户明确问最新信息，过期缓存不能满足业务层。分页接口只返回第一页时，工具应明确是否还有下一页，不能让上层误以为数据完整。发布工具新版本前，使用固定样本跑契约测试。包括正常、空结果、权限、超时、格式变化和大结果。若执行器改了返回字段而适配器没更新，契约测试应在进入 Agent 之前就失败。怎样处理部…

#Agent#工具调用与安全#Agent 工具成功判断

面试题·Agent

Text2SQL 面对上百张表，怎样选对 Schema 并处理业务歧义

匹配正文：…没说的内容 DDL 通常只有表名、列名、类型和约束，业务问题需要更多信息。表级元数据可以包含业务描述、数据域、负责人、更新频率、数据新鲜度、主键、分区键、常见查询场景和访问等级。列级元数据可以包含业务含义、单位、枚举说明、是否可空、示例值、敏感等级、聚合方式和有效时间语义。指标还需要单独的语义定义。例如“支付金额”对应哪个事实字段，是否扣除退款，按支付成功时间还是订单完成时间，统计粒度是什么。把这些口径只写在 Prompt 里很难维护，应该放在可版本化的指标或业务术语层。…

#Agent#工具调用与安全#Text2SQL Schema 选择

面试题·Agent

一次 Deep Research 到底花了多少钱，为什么只看总 Token 找不到成本黑洞？

匹配正文：…数。参数中可能含敏感 query，Trace 只保存脱敏摘要或哈希，不把原始私有内容写入标签。若工具结果来自缓存，记录缓存层、数据新鲜度与原始供应商。命中不等于零成本，缓存存储和回源仍有成本。工具失败后的换源要建立父子关系。否则看板只看到多个独立请求，不知道它们属于一次恢复路径。估算成本与真实账单为什么会不一致？在线系统需要立即显示预算消耗，只能根据当前价格表和 usage 做估算。供应商账单可能晚到，并包含折扣、阶梯、缓存、失败计费、税费或区域差异。因此要区分…

#Deep Research#上线成本与评估#Deep Research 成本

面试题·RLHF与对齐· 美团

Environment-based 训练怎么用?

匹配正文：…都会变化，所以分布一致不可能靠“在线”二字保证。安全关键任务还需要动作约束、影子模式、审批和回滚。工程验证实施前明确环境版本、数据新鲜度、策略滞后、奖励延迟和允许的探索预算。日志至少记录策略版本、动作概率、观测、奖励分项、终止原因和外部错误，支持回放与离线评估。模拟器要用真实日志做校准，并在不同参数与故障场景下压测；真实流量则从影子评估、小比例可逆动作开始，设置成功率、违规率、成本和漂移的停止线。比较静态与环境训练时固定模型和 token 预算，分别报告样本效率、墙钟时间…

#环境交互训练#在线学习#模拟器训练

面试题·评估· 百度

大模型应用怎么保障可靠性?

匹配口述回答：…能把输入质量分数、模型分数随意相乘后称为真实置信度。测试层需要黄金样本、边界样本、对抗样本和历史故障回归集。按任务、语言、长度、数据新鲜度和风险等级分桶，分别统计准确率、证据支持率、拒答质量、格式合法率、端到端任务成功率和延迟。若系统输出概率，还要检查可靠性图、Brier分数或期望校准误差，而不是只看平均准确率。线上采用shadow、灰度和阈值告警，任何模型、prompt、检索器或知识库变更都要带版本并可回滚。失败样本进入待审队列，由人工确认是输入、检索、工具、生成还是验…

#数据验证#输出校验#反馈闭环

面试题·检索· 商汤科技

RAG 两阶段架构：模块与数据流

匹配口述回答：…据文档类型动态调整分块策略，比如代码文档按函数切，政策文档按条款切。所以整体上，我会把RAG系统看成两个解耦的管道，离线管道保证数据新鲜度和覆盖率，在线管道保证召回质量和响应速度。两者独立迭代，但最终都要用业务指标来验证，比如客服场景里客户满意度有没有提升。一句话定位：RAG本质是给LLM外挂知识库离线阶段：文档解析、分块、Embedding、向量存储在线阶段：Query理解、检索、重排、上下文融合、生成边界划分：RAG vs 微调，关键词 vs 向量，固定分块 v…

#商汤科技#两阶段文档处理#RAG 系统架构

知识图谱实时性怎么保证?

Agent 超时、重试、幂等、安全与降级项目模拟面试

第 10 章:系统评估与上线优化

Agent 工具返回成功就算完成了吗？调用、执行、业务成功要分三层判断

Text2SQL 面对上百张表，怎样选对 Schema 并处理业务歧义

一次 Deep Research 到底花了多少钱，为什么只看总 Token 找不到成本黑洞？

Environment-based 训练怎么用?

大模型应用怎么保障可靠性?

RAG 两阶段架构：模块与数据流