匹配正文：…惩罚，解决稀疏奖励问题训练框架选择需权衡PPO的稳定性与DPO的简洁性评估需建立自动指标+人工评估+在线A/B测试的闭环迭代优化强调数据飞轮和失败案例挖掘以工具调用Agent为例，完整训练链路如下： 1. 数据收集种子数据：人工标注的(tool, query, trajectory)三元组，覆盖单步/多步调用合成数据：用强模型（GPT-4）生成候选轨迹，经规则过滤+人工校验关键：确保工具描述准确、边界case充足（调用失败、参数错误等） 2. 任务建模建模为部…

#美团#Agent#Agent 训练链路

面试题·评估· 高德

Agent 多工具如何评分选路?

匹配正文：核心设计思路工具选择本质是多目标优化问题，需在准确性、延迟、成本、成功率间权衡。我按三层架构来设计：一、工具表征层：建立统一描述每个工具注册时标注元信息：能力边界：输入输出Schema、支持的任务类型性能画像：历史成功率、平均延迟、调用成本质量评分：人工标注或离线评测的准确率 # 工具描述示例 tool_profile = { "name": "weather_api_v2", "capabilities": ["current_weather", "foreca…

#高德#评估与监控#Agent

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配口述回答：…但生成答案居然对了，那很可能是模型靠参数记忆作弊，这种场景下你的RAG其实没生效。所以三层指标要一起看，才能定位到具体瓶颈。迭代优化，我遵循先诊断后动手。举个例子，客服退款场景，用户问“我买了件衣服尺码不对怎么退”，如果检索没召回退款政策文档，那就是召回不足。我会用[[混合检索]]，[[BM25]]加向量，再加[[重排]]，把关键词匹配和语义匹配结合起来。如果召回够但生成还是瞎编，那就强制引用，让模型必须标注来源，甚至把检索内容直接前置到prompt里。还有一个常见失败场景…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#评估与监控#RAG 评估

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：…展精排层：Cross-Encoder打分，过滤低相关片段重排层：按时效性、权威性加权；医疗优先临床指南，法律优先生效条文查询优化：识别专业术语缩写（如"心梗"→"心肌梗死"），扩展同义词四、生成优化 Prompt工程：强制引用来源，格式如"根据《XX指南》第X条..." 约束解码：禁止生成索引外信息，设置医学安全词表拦截上下文压缩：用LLM对检索结果去冗余，保留关键证据链五、评估方法维度指标方法检索质量 Recall@K、MRR 人工标注相关性生成质量 …

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 美团

LLM 幻觉治理方法对比

匹配正文：…实不符的内容（如错误日期、虚构人物）忠实性幻觉：生成与输入上下文或检索内容不一致的回答主要缓解方法及有效性分析 1. 训练数据优化（源头治理）做法：去重、过滤低质量/冲突数据、知识边界标注、课程学习效果：基础但长尾，无法解决训练截止后新知识问题局限：成本高，且模型仍可能"过度泛化" 2. RAG（检索增强生成）做法：外挂知识库，将检索到的相关文档拼入Prompt 效果：对事实性幻觉效果显著，可追溯来源关键：检索质量决定上限，需解决检索失败和内容冲突美团实践：结…

#美团#幻觉治理#LLM 幻觉治理方法对比

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：…座选择：专业领域优先选已预训练模型（如Huatuo、LawGPT），或通用模型+领域SFT 检索增强生成：检索结果作为上下文注入Prompt 引用溯源：强制模型输出参考来源编号，支持可解释性安全机制：添加拒答策略（超纲问题、无可靠来源时），医疗场景必须设置"请咨询专业医师"风险提示四、评估机制（多维指标）维度指标方法检索质量 Recall@K、MRR 人工标注黄金文档集生成质量事实准确性（FactScore）、幻觉率领域专家审核 + NLI模型端到端答…

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 京东

RAG 缓解哪类幻觉?

匹配正文：…-k不相关）会直接引入噪声，甚至加剧幻觉。生成可控性LLM需具备"忠实于检索内容"的能力，而非过度依赖参数知识或自由发挥。这涉及prompt设计、上下文窗口利用和指令遵循能力。 RAG的边界：不解决忠实性幻觉能解决：编造不存在的事实、过时信息、专业领域知识盲区不能解决：逻辑矛盾、推理错误、对检索内容的曲解或过度推断典型反例：检索内容正确，但模型错误拼接信息得出荒谬结论——这是忠实性问题，需靠训练或推理优化解决。学习建议建议系统学习该知识点

#京东#知识型幻觉#RAG 幻觉

面试题·评估· 淘天

现代RAG架构有哪些改进?

匹配口述回答：这道题问的是现代[[RAG]]到底比传统流水线强在哪，本质是看检索和生成的关系从单向变成双向互动了。传统做法是检索完把结果拼进prompt，生成器就直接用了，三个模块各自优化，检的只管检，写的只管写。但现代RAG会把检索嵌进生成过程里，让生成器反过来指导检索，比如生成到一半发现缺信息，再主动去查一次。这不是简单拼接，而是有更深层的融合。具体说一下，传统RAG适合那些问题比较固定、知识库也不太变动的场景，比如内部知识库问答，查什么文档基本一眼就能判断。但真实业务里，问题复杂度…

#淘天#评估与监控#RAG架构改进

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配正文：…等细分场景二、模型架构三阶段RLHF流程 SFT：用高质量对话数据监督微调，建立基础对话能力 Reward Model：输入(prompt, response)输出标量分数，常用架构在最后一层加回归头损失函数：-log σ(r_θ(x,y_w) - r_θ(x,y_l)) 多任务扩展：多维度分数→加权求和或MoE结构强化学习：PPO（需KL散度约束防崩溃）或DPO（直接偏好优化，省去RM训练）个性化扩展用户画像embedding拼接到prompt LoRA适配器：…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·评估· 字节

RAG 文档检索选型

匹配口述回答：…尺度，通常更容易建立基线；线性加权能表达业务偏好，但前提是先校准分数，并通过评测集确定权重。不能脱离数据直接断言某一种一定更好。优化时应按链路定位问题。先检查文档解析和切块是否破坏语义，再看召回是否遗漏，之后才是融合和重排。Query Expansion、HyDE 或意图路由都有额外延迟和生成误差，不应该默认对所有请求开启。Cross-Encoder 只能改善已有候选的排序，不能救回根本没有召回的文档。切块与元数据也是检索方案的一部分。标题、章节、表格位置、文档版本和权限…

#字节#混合检索#RAG 文档检索选型

面试题·评估· 虾皮

大模型怎么用于搜索检索?

匹配正文：…序、去重、过滤 Cross-encoder 打分、多任务融合生成输出层答案摘要、直接回答、多源整合生成式摘要、引用溯源关键优化点混合检索：向量（语义）+ 倒排（精确匹配）+ 图谱（实体关系），召回率提升30%+ 查询路由：简单query走传统搜索，复杂query走大模型深度处理缓存策略：高频query的生成结果缓存，降低延迟和成本核心优势语义理解：突破关键词匹配，支持自然语言问答多跳推理：整合多源信息生成综合答案可解释性：答案带引用溯源，用户可验证主要挑…

#虾皮#大模型搜索检索#搜索检索技术方案

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：…检：Bad case分析，建立错误分类体系（检索失败/理解错误/幻觉/格式问题）实践建议分层监控：线上先卡检索Recall，再优化生成质量构建评估集：从真实日志采样，覆盖高频Query和边界Case A/B测试：检索策略、Prompt、重排序模型的对比实验

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估· 蚂蚁

大模型客服评估：伪代码与指标

匹配正文：….), temperature=0.3, # 低温度保证稳定性 response_format="json" ) # 自检：用独立prompt验证证据真实性 if not self.verify_quotes(response, segment): response['confidence'] *= 0.5 return response 4. 关键优化点成本：长对话先走摘要模型（小模型），仅关键片段用大模型稳定性：同一对话多次采样，取众数或加权平均幻觉防控：强制要求引…

#蚂蚁#客服质量评估#大模型评估系统

面试题·评估

RAG 效果差怎么排查？

匹配正文：…ument Test）将标准答案依赖的文档直接注入context，若生成质量显著提升 → 检索是瓶颈若仍有问题 → 生成模块或prompt设计有问题检索侧关键指标指标用途健康阈值 Recall@K 相关文档是否被召回 >0.8（K=5/10） MRR/NDCG 排序质量视场景，MRR>0.5 Context Precision 检索结果中噪声比例越高越好快速诊断信号用户问题与召回文档语义明显不相关 → Embedding模型或分块策略问题相关文档召回但排…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…敏感性：打乱文档顺序，观察输出稳定性（位置偏见检测）快速决策流程端到端效果差 │ ├── 黄金文档测试 ──→ 仍差 ──→ 优化生成模型（SFT数据、上下文长度） │ │ │ 变好 ──→ 检索问题 │ │ │ 查询理解差？→ 优化query改写/embedding │ 文档切分碎？→ 调整chunk策略 │ 排序不合理？→ 加精排模型 │ └── 检索和生成单独都好 ──→ 协同优化（prompt工程、文档压缩、动态检索）一句话总结：先用黄金文档锁定责任方，再用指标…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估

检索准但生成差，怎么调优？

匹配正文：…on检测）：答案是否被上下文支持相关性：是否回答用户问题而非泛泛而谈完整性：是否覆盖上下文中的关键信息二、检索准确但生成差的优化策略 1. 上下文利用优化上下文压缩/重排序：用LLM或轻量模型对检索文档去冗余、排优先级多文档融合：设计结构化Prompt（如"文档[1]说...文档[2]说..."），明确标注来源动态上下文窗口：根据问题复杂度调整送入LLM的文档数量 2. 生成模型/推理优化微调策略：用领域数据SFT，强化"基于给定上下文回答"的指令遵循能力 Pr…

#上下文压缩#生成调优#RAG 效果诊断

面试题·模型微调· 滴滴

大模型落地技术范式怎么选?

匹配口述回答：…后能回顾自己的错误并修正，这在一定程度上缓解了稳定性问题。但代价是推理成本会翻倍，而且反思的质量本身也不可控。我觉得这块还有很大的优化空间。所以总的来说，我会把选型看成三层：简单任务先用提示工程和上下文学习试水；知识密集型场景上RAG；深度定制需求上微调。真正落地时，组合才是常态，比如微调加RAG，或者Agent加RAG。但一定要避免过度工程，能用提示工程解决的，别急着上Agent。一句话点明本质：选型不是比谁好，是看场景和成本五大范式按原理和边界拆开讲，重点对比RAG…

#滴滴#模型微调#Agent

面试题·模型微调· 高德

Agent 记忆怎么用向量库?

匹配正文：…本低，基线可用垂直领域（如高德地图）领域微调用历史对话数据做对比学习，强化地点、路线、偏好等语义多任务目标联合训练同时优化检索相关性+对话连贯性+用户满意度预测关键：Agent记忆Embedding需捕捉"意图"而非仅字面，建议加入对话上下文作为输入。 Chunk粒度设计粗粒度（整轮对话）：保留完整上下文，适合检索"某次完整交互" 细粒度（句子/意图单元）：精准定位，适合工具参数、关键事实提取混合策略：存储时细粒度切分+检索时动态扩展上下文窗口高德场景示例…

#高德#Agent#向量检索

面试题·模型微调· 字节

RAG 技术原理与架构怎么搭?

匹配正文：答案要点 RAG核心流程（索引-检索-生成）的完整理解向量数据库选型与优化要点检索策略（稠密/稀疏/混合）的权衡实际落地中的关键挑战（幻觉、时效性、多跳推理） RAG与微调的结合思路一、技术原理 RAG的核心思想：用外部知识弥补大模型的知识截止和幻觉问题，把LLM从"闭卷考试"变成"开卷考试"。标准流程三步走：索引（Indexing）：文档切分→Embedding编码→向量库存储检索（Retrieval）：Query向量化→相似度搜索→Top-K召回生成（Ge…

#字节#RAG 最佳实践#RAG 技术原理

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：答案要点数据清洗与分块策略设计 Embedding模型选型与微调考量多路召回与重排序的检索架构大模型Prompt工程与上下文压缩端到端评估指标与迭代优化闭环一、数据准备：质量决定天花板数据清洗去重、去噪、格式标准化（PDF/Word/网页解析）领域术语词典构建，确保专业概念不被错误分词分块策略（关键！）按语义切分优于固定长度：用BERT-based句子嵌入判断边界领域特性：医学/法律需保留完整条款上下文，代码按函数/类切分块大小与重叠窗口都作为候选变量…

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 商汤科技

RAG 技术流程怎么跑?

匹配正文：…在线）查询向量化：用户问题同样转为Embedding向量相似度搜索：用ANN（近似最近邻）算法快速召回Top-K相关块重排序优化：用Cross-Encoder等精排模型提升相关性（可选但重要） 3. 生成阶段上下文组装：将检索结果与用户问题拼接成Prompt 大模型生成：LLM基于"检索到的证据"生成回答，典型Prompt结构：基于以下参考资料回答问题： [检索内容1] [检索内容2] 问题：{用户提问} RAG解决的核心问题问题说明知识时效性大模型训练数据…

#商汤科技#检索生成流程#RAG 技术流程

面试题·模型微调· 百度

大模型知识库怎么构建?

匹配正文：…推荐模型通用中文 BGE-M3、GTE、ERNIE 垂直领域领域数据微调后的模型多语言 E5-mistral、BGE-M3 优化技巧对Query和Document分别设计Prompt前缀（如"为这个句子生成表示："）领域微调：用对比学习（In-batch Negatives+Hard Negatives）提升相关性四、索引构建向量索引 HNSW：高召回、内存占用大，适合百万级 IVF-PQ：磁盘友好，适合亿级规模 Milvus/Pinecone：托管方案，自动分…

#百度#大模型知识库构建#知识库向量化

面试题·模型微调· 字节

RAG 检索与生成流程详解

匹配正文：…：检索生成 Query理解：必要时进行Query改写、扩展、意图识别向量检索：用ANN算法快速召回Top-K相关chunk 精排优化：Cross-Encoder重排序，过滤低质量内容上下文融合：将检索结果拼接为Prompt上下文，约束模型生成技术架构用户Query → Query处理 → 向量检索 → 重排序 → 上下文组装 → LLM生成 → 输出 ↓ [向量数据库] ← Embedding模型 ← 文档知识库关键组件：Embedding模型、向量数据库、重排序模…

#字节#检索生成流程#RAG 实现

面试题·RAG

RAG 完整流程分几步？

匹配正文：…题最相似的 Top-K 个知识块。这一步决定了模型“开卷考试”时翻到的是不是正确的那几页书。生成：把用户问题和检索到的知识块，按提示词模板拼在一起交给大模型，要求它“根据给定资料回答”，输出的答案就是用户最终看到的结果。一句口诀帮助记忆：解析洗数据，分块定粒度，向量建索引，检索找资料，生成出答案。前三步做得好不好，直接决定后两步的上限。入门之后，可以往检索优化方向深入：重排（Rerank）、混合检索（关键词 + 向量）、查询改写，以及不同分块策略的对比实验。

#入门#基础概念#RAG流程