匹配正文：…也不无条件存原始私密推理。回放分三种：复用历史 Observation 做离线确定性回放；在相同版本下重放请求检查能否复现；用新 Prompt 或模型做影子对比。副作用工具默认只读历史结果，不能在回放中再次执行。排障时从最终失败沿依赖反查最早分歧点。核心是：Trace 用来还原事实链，Replay 用来验证修复，不是简单“再跑一遍”。 Agent Trace 的完整事件链用户请求、决策、工具、状态与最终答案通过父子关系串成一条任务轨迹。指标、日志、Trace 和回放有什…

#Agent#多智能体与评估#Agent Trace 回放

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…有哪些系统性偏差，怎样设计 rubric、盲评、换位、多 Judge 和人工校准，如何发现模型在堆引用、拉长度或迎合裁判，又怎样给评估与训练之间加一道防火墙，避免形成自我强化的刷分闭环？ LLM Judge 为什么有价值？调研答案涉及覆盖、取舍、结构和开放建议，很多维度难用 Exact Match 解决。 Judge 可以读取任务 contract、候选答案、证据和 rubric，按维度输出分数与理由。它比纯人工更容易扩展，也能保持固定 Prompt 下的基本一致性。它…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·评估· 百度

LLM 准确性提升四大路径

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：…。自一致性只说明多个采样同意，不等于事实正确。解码参数、验证器和工具执行应按任务选择，代码用测试，数学用可检查计算，不能靠一条统一prompt解决。外部增强方面，RAG能把回答连接到可更新语料，但仍可能召回错误、忽略证据或错误引用。工具调用可以把搜索、计算和数据库查询交给外部系统，同时新增权限与注入风险。检索质量、证据支持率、答案忠实度和拒答都需单独评测。我的实验会先建立无增强基线，再分别加入数据改进、偏好优化、推理提示、检索或工具，每次只改变有限变量。按事实、推理、帮助…

#数据质量#训练策略#推理优化

面试题·评估· 商汤科技

评测数据集怎么选?

匹配正文：…和评测目的，再从真实实验记录中选择数据集：通用知识与理解：若实际使用 MMLU，说明它覆盖多学科多项选择，关注宏平均、学科切片、prompt 与 few-shot 设置。数学问题求解：GSM8K 是小学数学文字题，MATH 覆盖更具挑战的竞赛数学问题。它们评测的是数学问题求解结果；是否使用或输出 CoT 是推理与评分协议，不能直接把数据集叫作“CoT 能力测试”。代码生成：若使用 HumanEval，说明以单元测试执行 functional correctness，并报…

#评测数据集#benchmark选择#评测指标

面试题·模型架构· 字节

格式化输出 vs 思维链，怎么选？

匹配口述回答：…生成一段文本，再把结果做普通概率排序。模板和verbalizer质量会直接影响性能，因此要做多模板或校准，而不能把PET等同为任意prompt。还有一种方式是text-to-text。T5把分类、匹配、抽取和生成统一为文本输入到文本输出，方便多任务共享模型。另一个方向是指令和上下文示例：in-context learning在推理时把示例放进上下文，不更新模型参数；instruction tuning则要用指令数据做梯度训练。两者都可以输出类别字符串，但训练成本和泛化机制不…

#生成式建模#判别式任务转化#Prompt工程

面试题·评估· 百度

大模型应用怎么保障可靠性?

匹配正文：…围、时间、来源和权限；对文档做版本与哈希记录，对用户输入做注入和敏感数据检测。检索与生成层：保留query、召回结果、重排分数、prompt、模型版本和工具调用trace。要求关键事实能回指证据；高风险计算交给确定性程序或受控API，结构化输出用schema约束。验证层：业务规则、单元测试、代码执行、数据库校验或独立模型可以提供信号，但验证器也要有独立测试集。Self-Consistency的答案一致度只能作为不确定性特征之一，不是经过校准的正确概率；不能自创“输入置信度…

#数据验证#输出校验#反馈闭环

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…former范式奖励机制需组合结果奖励、过程奖励和格式惩罚，解决稀疏奖励问题训练框架选择需权衡PPO的稳定性与DPO的简洁性评估需建立自动指标+人工评估+在线A/B测试的闭环迭代优化强调数据飞轮和失败案例挖掘以工具调用Agent为例，完整训练链路如下： 1. 数据收集种子数据：人工标注的(tool, query, trajectory)三元组，覆盖单步/多步调用合成数据：用强模型（GPT-4）生成候选轨迹，经规则过滤+人工校验关键：确保工具描述准确、边界cas…

#美团#Agent#Agent 训练链路

面试题·评估· 美团

RAG 工作原理与局限怎么分析?

匹配正文：…材料生成核心流程:文档解析 → 分块(Chunk)→ 向量化(Embedding)→ 入向量库;查询时检索 → 重排 → 拼入 prompt 生成优势:知识可实时更新、答案可溯源、幻觉显著降低、不需要重训模型局限:效果强依赖检索质量(切分不当/纯向量检索对 ID 类文本失效),链路长、延迟与成本上升与微调的边界:微调学「格式与风格」,RAG 注「事实与时效」,生产中常两者结合工作原理 RAG 的本质是把「模型参数里的知识」和「外部知识库」解耦。索引侧:把文档切成语义…

#美团#评估与监控#RAG 工作原理

面试题·评估· 高德

Agent 多工具如何评分选路?

匹配正文：…ms）打分模型中等复杂度线性加权或小型神经网络，输入任务特征+工具画像，输出综合得分 LLM-based 复杂决策、需推理 Prompt内嵌工具描述，让LLM直接选择并解释理由打分模型公式示例： score = w1·accuracy - w2·cost - w3·latency + w4·success_rate 权重根据业务场景动态调整（实时场景调高w3，成本敏感场景调高w2）。三、执行与反馈层：动态适应 A/B测试框架：新工具灰度接入，对比实际效果在线学习：…

#高德#评估与监控#Agent

面试题·评估· 字节

RAG 评测优化闭环

匹配正文：一、三层评估体系设计 1. 检索模块评估 Recall@K：答案相关文档是否在TopK中 MRR/NDCG：排序质量，关注相关文档的位置精确率指标：标题匹配率、实体命中率（针对结构化知识）多跳召回率：复杂问题需跨文档推理时的召回能力 2. 生成模块评估事实性：答案与检索内容的一致性（用NLI模型或人工抽检）完整性：是否覆盖问题所有要点（可拆解子问题逐一验证）幻觉率：生成内容超出检索片段的比例流畅度：PPL、人工可读性评分 3. 端到端评估 RAGAS指标：fait…

#字节#评估与监控#RAG 评测优化闭环

面试题·评估· 美团

RAG 仍会幻觉的原因

匹配正文：…工作流程三阶段阶段作用幻觉缓解机制检索从外部知识库召回相关文档引入权威外部知识，替代模型参数记忆增强将检索结果注入Prompt上下文为生成提供事实锚点，约束自由发挥生成基于上下文生成回答可通过引用溯源验证信息来源关键技术机制 1. 事实锚定（Grounding）将生成内容绑定到检索文档的明确陈述模型被强制"照着说"，而非"编着说" 2. 上下文约束（Contextual Constraint）通过系统Prompt限定"仅基于提供的文档回答" 利…

#美团#检索证据质量#RAG 仍会幻觉的原因

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：… 原系统错误：提示原检索/排序/过滤/上下文组织可能有问题，还要区分漏召回与噪声、位置、截断。黄金组仍错误：先确认黄金证据充分、prompt和输入格式正确，再查生成与证据使用；不能仅凭该实验断言是幻觉。二、独立指标体系检索侧指标（无需生成模型）： Recall@K：Top-K命中的黄金相关文档数 / 全部黄金相关文档数；至少命中一份是Hit@K MRR：每个query首个相关结果排名的倒数，再求均值；无命中记0 NDCG：排序质量生成侧指标（固定检索结果）： Fait…

#百度#评估与监控#RAG 错误定位

面试题·评估· 百度

RAG 错误根源怎么定位?

匹配口述回答：…一位，再让同一个生成模型回答。如果答案变正确，说明原问题主要在检索或排序；如果答案还是错误，说明生成模型没有正确利用证据，可能是 prompt 约束不够、模型忠实度差，或者上下文里有干扰信息。第三步做 context 消融。把 Top5 减到 Top3、Top1，或者只保留正确文档，看答案怎么变。如果只保留正确文档后答案稳定正确，说明噪声文档在干扰生成；如果换成无关文档后模型还给出很自信的答案，说明它过度依赖参数知识，有[[幻觉]]风险。第四步做答案和证据对齐。把答案拆成…

#百度#评估与监控#RAG 错误定位

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：…权威性加权；医疗优先临床指南，法律优先生效条文查询优化：识别专业术语缩写（如"心梗"→"心肌梗死"），扩展同义词四、生成优化 Prompt工程：强制引用来源，格式如"根据《XX指南》第X条..." 约束解码：禁止生成索引外信息，设置医学安全词表拦截上下文压缩：用LLM对检索结果去冗余，保留关键证据链五、评估方法维度指标方法检索质量 Recall@K、MRR 人工标注相关性生成质量事实准确性对比原文，用NLI模型检测幻觉可追溯性引用覆盖率检查生成内容…

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 美团

LLM 幻觉治理方法对比

匹配正文：…练截止后新知识问题局限：成本高，且模型仍可能"过度泛化" 2. RAG（检索增强生成）做法：外挂知识库，将检索到的相关文档拼入Prompt 效果：对事实性幻觉效果显著，可追溯来源关键：检索质量决定上限，需解决检索失败和内容冲突美团实践：结合实时业务数据（如商户信息）做领域RAG 3. 解码策略优化方法核心思想适用场景 Contrastive Decoding 对比大/小模型输出，惩罚低置信token 开放生成 CAD（Context-Aware Decoding…

#美团#幻觉治理#LLM 幻觉治理方法对比

面试题·评估· 快手

LangChain 链式调用原理

匹配正文：…": retriever | format_docs, "question": RunnablePassthrough()} | prompt | llm | StrOutputParser() ) 3. Agent的执行循环用户输入 → LLM决定Action → 执行工具 → 观察结果 → LLM继续决策 → ... → 最终输出 ↑___________________________________________________________| 关键组件： Ag…

#快手#评估与监控#Agent

面试题·评估· 京东

RAG 缓解哪类幻觉?

匹配正文：…-k不相关）会直接引入噪声，甚至加剧幻觉。生成可控性LLM需具备"忠实于检索内容"的能力，而非过度依赖参数知识或自由发挥。这涉及prompt设计、上下文窗口利用和指令遵循能力。 RAG的边界：不解决忠实性幻觉能解决：编造不存在的事实、过时信息、专业领域知识盲区不能解决：逻辑矛盾、推理错误、对检索内容的曲解或过度推断典型反例：检索内容正确，但模型错误拼接信息得出荒谬结论——这是忠实性问题，需靠训练或推理优化解决。学习建议建议系统学习该知识点

#京东#知识型幻觉#RAG 幻觉

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配正文：…结构强化学习：PPO（需KL散度约束防崩溃）或DPO（直接偏好优化，省去RM训练）个性化扩展用户画像embedding拼接到prompt LoRA适配器：不同用户群体/场景维护独立低秩矩阵三、评估体系维度指标方法偏好对齐胜率（Win Rate） GPT-4/人工盲评对话质量流畅度、多样性 perplexity、distinct-n 安全性有害内容率规则+分类器拦截业务指标转化率、满意度在线A/B测试关键陷阱：奖励黑客（Reward Hacki…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·评估· 快手

LLM 如何集成外部工具与记忆?

匹配正文：…行拆分为原子组件，通过标准化接口自由组合。五大核心组件组件职责典型场景 Model I/O 统一封装各厂商LLM接口，管理Prompt模板与输出解析切换GPT/Claude/文心无需改代码 Retrieval 文档加载、切分、向量化、检索全流程 RAG知识库问答 Chains 预定义的工作流（如LLMChain、SequentialChain）固定步骤的流水线任务 Agents 动态决策：LLM自主决定调用哪个工具、下一步动作多工具协作的复杂任务 Memory …

#快手#评估与监控#Agent

面试题·评估· 阿里

Agent 工具调用用 Workflow 吗？

匹配正文：…w（动态Agent）的优势灵活应对边界情况：用户意图漂移时，LLM可自主调整工具组合降低维护成本：业务规则变化无需改代码，调整Prompt即可工具组合涌现：LLM可能发现人类未预设的工具链（如"查天气→推荐穿搭→生成图片"）典型场景：开放域问答、创意写作辅助、探索性数据分析。关键权衡点考量因素建议倾向失败成本极高（医疗/金融） → Workflow为主工具调用链长度>5步 → Workflow避免LLM规划失效需求变化周期<1周 → 动态Agent降低迭代…

#阿里云#评估与监控#Agent

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配口述回答：…记忆里矛盾时，它可能固执己见，也可能随机选一个，这就是 [[Hallucination]]。我的做法是让模型显式引用来源，比如在 prompt 里要求“只根据以上文档回答，如果文档没有，就说不知道”，同时做置信度校准，把检索结果分太低的直接丢掉。还有一个常被忽略的点：Lost in the Middle 现象，模型对长上下文中间位置的信息容易遗忘。我会把关键文档放到 prompt 首尾，或者先压缩再喂给模型。系统层面，延迟和成本是逃不开的。检索加重排加生成，链路很长，首 t…

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 字节

RAG 上下文不准确怎么诊断?

匹配正文：…先级数据层：清洗脏数据，补充缺失知识（最快见效）检索层：调优embedding（领域微调）、重排序模型、混合检索权重生成层：prompt工程约束引用格式、尝试RAG-specific微调

#字节#RAG 上下文不准确#RAG 诊断

面试题·评估· 虾皮

大模型怎么用于搜索检索?

匹配正文：…流式生成、模型蒸馏、检索结果预加载成本敏感大小模型级联（小模型过滤→大模型精修）数据实时性增量索引更新 + 时效性信号注入prompt 虾皮场景特点电商搜索需重点解决：商品属性理解（规格、口碑）、多语言混合（东南亚市场）、促销信息实时性，通常会在RAG基础上叠加商品知识图谱和实时价格库存接口。

#虾皮#大模型搜索检索#搜索检索技术方案

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：…相关性）、Context Relevance（上下文相关性） Self-check：让模型自己判断答案是否有幻觉三、端到端与业务评估端到端准确率：完整问答链路的正确率延迟与成本：检索耗时、Token消耗人工抽检：Bad case分析，建立错误分类体系（检索失败/理解错误/幻觉/格式问题）实践建议分层监控：线上先卡检索Recall，再优化生成质量构建评估集：从真实日志采样，覆盖高频Query和边界Case A/B测试：检索策略、Prompt、重排序模型的对比实验

#小鹏#评估与监控#RAG 失败场景诊断