匹配口述回答：…不能把它和 label smoothing 简单说成互相抵消。最终要以准确率、NLL、ECE 和业务阈值表现共同验收。若业务使用置信度阈值做拒绝或转人工，还要重新计算不同阈值下的覆盖率、准确率和成本曲线。即使总体 accuracy 不变，概率尺度变化也可能让原阈值失效。校准完成后应在独立测试集冻结温度与阈值，避免对测试结果反复调参。我会把这套诊断做成可回放的评测链路：固定数据版本与 checkpoint，记录每类 logit、阈值覆盖率和转人工成本，再逐项灰度改动。比如客…

#模型校准#温度缩放#标签平滑

面试题·Agent· 蚂蚁

模糊意图怎么补全?

匹配口述回答：…醒“您确认转账1000元吗”。常见失败场景是，系统自以为是地填了默认值，用户没注意就确认了，后续出问题很麻烦。所以上线我会特别关注置信度阈值，低于某个值直接转人工，不强行猜。还有一个延伸点：[[多模态]]输入。比如用户上传一张账单截图，系统需要先[[OCR]]识别文字，再结合RAG解析。这里有个坑，OCR可能出错，比如把数字“1”识别成“l”，所以RAG检索时要容忍拼写错误，或者用[[Embedding]]相似度匹配。这个方向我还在探索，比如怎么把OCR置信度和RAG检索分…

#蚂蚁#Agent#Agent意图补全

面试题·Agent· 高德

Agent长期记忆Embedding检索策略

…设计：语义+时间+重要性+实体的多维度编码检索策略：混合排序，粗排+精排+重排，时效性衰减噪声过滤：闲聊过滤、去重、记忆反思、置信度阈值落地取舍与风险：存储成本、实时性、个性化，以及常见失败场景约4分钟时效性衰减与重要性分数的联合调整，以及用户手动固定长期记忆的必要性面试官可能会追问：如何处理时效性和重要性冲突的具体算法，或者用户手动固定记忆的实现方案

← 上一页第 2 / 2 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配口述回答：

#高德#Agent#Agent长期记忆

面试题·Agent· 字节

Agent 框架核心组件怎么搭?

匹配口述回答：…就卡死了。说到重规划，这里有个延伸点：当工具返回的结果和预期偏差很大时，是让模型重新规划好，还是直接回退到人工？我倾向于设定一个置信度阈值，低于阈值就主动请求确认。这个阈值怎么定，需要根据业务场景调，比如金融风控场景阈值设得很高，宁可多问一次。所以整体来看，我更倾向于把Agent看成一个有容错能力的半自主系统，不是全自动。前提是你得把每个模块的失败场景都想到，不然上线就是灾难。一句话定位：面试官问的是Agent怎么把LLM的思考能力落地成闭环系统规划模块：两种模式的边…

#字节#Agent#Agent 框架设计

面试题·评估· 美团

RAG 工作原理与局限怎么分析?

匹配口述回答：…call@K，不达标就调分块策略或换Embedding模型。幻觉多半是检索到的材料不相关或冲突，模型强行编答案。我的做法是加一个置信度阈值，如果Rerank后最高分都低于阈值，就返回“我无法回答”，而不是硬答。还有一个方向是[[Agentic RAG]]，就是让模型不只是查一次，而是根据问题自主决定查哪个库、要不要多步推理，比如用户问“为什么我用了满减券但价格还是不对”，模型可能需要先查订单、再查优惠券规则、再查库存价格，这就涉及到 [[ReAct]] 或者 [[Func…

#美团#评估与监控#RAG 工作原理

面试题·评估· 蚂蚁

大模型客服评估：伪代码与指标

匹配口述回答：…、模型补充、人工兜底的三层架构。上线前我会特别关注两个前提：一是规则引擎的覆盖率要够高，至少覆盖60%的常见违规；二是大模型评估的置信度阈值要调准，否则人工复核量会爆炸。如果这两点不满足，系统很容易变成要么漏检要么过检。一句话定位：评估系统本质是权衡自动化与准确性维度设计：分层思维，规则兜底，模型做语义混合架构：规则引擎快准狠，大模型补柔性，结果融合有优先级落地风险：幻觉、成本、置信度，以及人工闭环工程师判断：更倾向规则优先+模型补充，留复核兜底约4分钟低置信度…

#蚂蚁#客服质量评估#大模型评估系统

面试题·模型微调· 商汤科技

RAG 技术流程怎么跑?

匹配口述回答：…t结构很关键：先给检索内容，再给问题，明确要求模型引用来源。这里有个风险：如果检索内容有噪声或冲突，模型可能会混淆。所以我会设一个置信度阈值，低于0.6的块直接丢弃，避免污染上下文。举个例子，电商客服场景。用户问“我买的手机降价了，能退差价吗？”系统先检索知识库，找到“7天价保”政策文档，然后LLM基于这个文档生成回答，并标注来源。如果知识库没更新，比如政策刚改，那RAG就抓不到，所以前提是知识库必须实时同步。常见失败场景是文档版本混乱，比如旧政策和新政策混在一起，检索出矛…

#商汤科技#检索生成流程#RAG 技术流程

面试题·Agent

ReAct 框架是什么?

匹配口述回答：…本、停止条件，以及我的取舍约2分钟 ReAct 系统的停止条件往往比推理能力更重要面试官会追问如何设计停止条件，比如最大步数、置信度阈值、任务完成判断等

#入门#基础概念#ReAct 框架

面试题·多模态· 淘天

截图组件功能怎么用 RAG 解释?

匹配口述回答：…局再局部生成与落地：注意位置顺序、置信度过滤、知识库维护约4分钟知识库的更新频率和覆盖率是上线后的关键风险，需要自动化流程和置信度阈值兜底面试官可能会追问如何保证知识库的实时性、如何处理检索不到的情况、或者对比纯多模态方案在复杂交互场景下的优劣

#淘天#多模态#多模态 RAG

面试题·Prompt· 高德

ReAct 核心思想与多步推理优势

匹配口述回答：…是推理链太长，模型在中间步骤忘了初衷，比如查了五六个API后，绕到无关问题上去了。所以上线时我会特别关注最大步数限制和每步的置信度阈值，一旦某步Observation和预期偏差太大，就提前终止或回退。另外，ReAct这种线性链在遇到分支决策时其实有点笨，比如同时有多个搜索方向可选。我更倾向把它和 [[Tree-of-Thoughts]] 结合起来，让模型在每一步探索多个可能的行动路径，然后选置信度最高的继续。这样能减少走错路的风险，但也更贵。所以整体上，我会把ReA…

#高德#Agent#ReAct 框架

面试题·Prompt· 字节

AI Agent 核心特点与局限

匹配口述回答：…nt查日志时返回数据太大，模型上下文窗口撑爆，或者幻觉导致误判，把正常变更当成故障原因。上线我会特别关注错误累积，给每个中间结果加置信度阈值，分太低的不往下走，或者让人工介入确认。说到可靠性，我觉得现在最关键的瓶颈是从80%可用到99.9%可信。比如能不能让Agent自己验证自己的推理，像[[Self-RAG]]或[[Chain-of-Verification]]那样，需要系统性突破。所以我对Agent的判断是：短期1-2年垂直场景深度落地，比如代码生成加执行闭环的企业工…

#字节#评估与监控#Agent

面试题·RAG· 字节

医疗 RAG 索引如何保合规?

匹配口述回答：…败的情况，比如用户问的问题在知识库里根本没有对应内容。这时候如果硬答，就会产生幻觉。所以我会特别关注检索失败时的兜底策略，比如设置置信度阈值，低于阈值就直接告诉用户“找不到相关信息”，而不是强行生成。这其实涉及到[[Faithfulness]]和[[Self-RAG]]的思路，让模型自己判断是否该回答。所以整体上，我更倾向于把专业领域RAG看作一个工程系统，而不是一个模型问题。数据流程的严谨性、索引架构的冗余设计、合规机制的强制嵌入，这些比调一个更好的模型更重要。上线前我会…

#字节#医疗RAG合规#RAG 数据处理流程

面试题·RAG· 淘天

RAG 模型分类有哪些?

匹配口述回答：…里有个延伸点值得留意：Modular RAG里的调度器如何决定何时停止迭代？如果不停，可能会浪费token甚至陷入循环。我倾向于用置信度阈值加最大轮数来控制，但更优雅的做法是用 [[Faithfulness]] 评估当前答案对检索结果的支持度，低于阈值就继续检索。最后总结一下我的工程师判断：RAG不是越高级越好，Naive有它快速验证的价值，Advanced适合优化体验，Modular解决复杂问题。我会把RAG的选型看成一条演进路径，从简单开始，按需加复杂度，避免过度设计。…

#淘天#RAG架构分类#RAG 分类

面试题·RAG· 百度

RAG 项目指标化复盘

匹配口述回答：… 和实验。 RAG本质是让大模型先查后答，不是硬记数据层：多源解析和表格保留检索层：混合召回加重排，型号编码单独倒排生成层：置信度阈值防幻觉，版本冲突处理落地前提和风险约90秒即使检索准，模型仍可能忽略部分上下文，需要更精细的段落关联策略，但会引入延迟追问：具体怎么用Parent Document策略？或者怎么在延迟和上下文完整性之间平衡？

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·RAG

Deep Research vs RAG 怎么选?

匹配口述回答：…则是成本高，token消耗大，而且可能陷入无效循环，比如模型一直查同一个方向跑偏了。所以前提是要有可靠的终止条件，比如最大轮数或者置信度阈值。其实现在有个趋势是把两者结合，比如用RAG做快速的事实检索，再结合[[Agent]]的规划能力做多步推理。像[[Agentic RAG]]就是这种思路，模型先用RAG拿到初步信息，然后根据结果决定下一步是继续搜还是直接回答。这个方向的关键是平衡成本和准确性。所以我的判断是：RAG是基础设施，解决大部分常规问题，成本可控；Deep R…

#Deep Research#RAG#Deep Research vs RAG

面试题·检索· 美团

RAG 流程各阶段怎么拆?

匹配口述回答：…-Encoder]] 快速筛，精排用Cross-Encoder挑出最相关的5-10条。这里有个坑：重排序分数低的不直接丢掉，要设个置信度阈值，低于阈值的触发兜底逻辑，比如告诉用户“没找到相关信息，请换个问法”。接下来是上下文构建。文档长度不一，不能硬塞。我会按相关性排序后拼接，超长时做截断，优先保留高相关片段而不是开头。同时把来源、时间、标题这些元信息结构化注入，方便生成时引用。Prompt模板也很关键，要明确区分系统指令、检索结果和用户问题，否则模型容易混淆。生成阶段，…

#美团#评估与监控#RAG 工作流程

面试题·检索· 美团

RAG 检索器与生成器如何协同？

匹配口述回答：…说落地时我特别关注的几个风险。先看噪声敏感：如果检索到的文档里混了不相关的内容，模型会被带偏。所以我会在 Rerank 阶段设一个置信度阈值，低于0.3的直接丢掉，宁可少给也别给错的。再看时效性问题：知识库如果一天一更新，用户问“今天有什么优惠”，模型还是拿昨天的政策回答。所以对于高频变化的数据，比如库存、价格，我会用 [[Agent]] 配合 [[Function Calling]] 实时查数据库，而不是走静态索引。还要看查询改写成本：用户 query 经常很短或者有歧义，…

#美团#RAG架构#RAG 系统架构