匹配正文：…指令 + citation要求拼接多个文档信息产生幻觉长context注意力分散压缩context或重排序去噪答案正确但未引用来源缺乏训练或指令跟随不足 SFT/RLHF强化引用格式第三步：系统化追踪工具 RAGAS / ARES：自动化评估检索→生成的全链路 LangSmith / Phoenix：可视化trace，查看每步输入输出人工抽样分析：建立bad case分类体系（检索失败/理解失败/整合失败）关键原则不要同时优化两端。先固定一端验证另一端，避免…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估· 安克科技

RAG 问答金标构建

匹配正文：…置信：3人一致且可溯源中置信：2人一致或需推理低置信：存疑，不入测试集真实性验证手段方法实现方式自动溯源强制模型输出引用片段，用字符串匹配/语义相似度验证一致性校验同一问题换表述多次提问，答案稳定性检测负样本注入混入文档中不存在答案的问题，测试拒答能力专家抽检 10%随机抽样+100%对抗集人工复核多样性维度设计文档维度类型：结构化表格、非结构化文本、图文混排长度：短片段（<512 token）、长文档（>4k token）领域：单领域深度 …

#安克科技#评估与监控#RAG 问答金标构建

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配正文：…型的候选顺序作为端到端诊断依据。配套指标与阈值 MRR 应与 Recall@K、NDCG、证据覆盖率、Faithfulness、引用准确率和答案正确率结合。对于需要多个证据片段的问题，Recall@K 与 NDCG 往往比单独的 MRR 更能说明信息是否完整。 MRR 没有跨数据集通用的 0.7、0.8 或 0.85 合格线。可接受阈值必须基于同一标注集、候选深度、相关性定义、历史基线和业务错误成本确定，并报告置信区间或分桶结果。图解 MRR 在 RAG 中怎么定义?图解

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#百度#评估与监控#MRR 定义

面试题·模型微调· 滴滴

大模型落地技术范式怎么选?

匹配正文：…微调 > 提示工程第三步：滴滴场景示例实时定价：微调（历史订单数据训练，延迟敏感）司机答疑：RAG（政策文档频繁更新+需准确引用）异常处理工单：Agent（需调用订单系统+地图服务+规则引擎）关键认知工业落地的核心是分层架构：基座模型+轻量适配层。多数场景组合使用，如"RAG+微调"（检索增强的微调模型）或"Agent+RAG"（工具链中包含知识检索）。避免过度工程，能用提示工程解决的不用Agent。学习建议建议从基础概念入手，结合真实案例理解各范式的应用场景…

#滴滴#模型微调#Agent

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配正文：…优先 → 推理干预兜底 → 事后事实核查幻觉检测：NLI模型判断生成与证据的蕴含关系，或采样一致性检验产品策略：高风险场景强制引用溯源，低置信度触发人工审核学习建议建议系统学习该知识点

#联通#大模型幻觉缓解#检索增强

面试题·模型微调· 高德

Agent 记忆怎么用向量库?

匹配正文：…_gap)，λ控制遗忘速度重要性重排序：用轻量模型打分，考虑：是否包含用户明确确认的信息（"对的""没错"）是否涉及后续对话引用是否跨会话被重复提及（长期偏好）重排序技巧：用对话历史做Cross-Encoder精排，或训练小型BERT做记忆相关性二分类。落地检查点记忆是否"可用"：检索结果在Prompt中能否真正帮助生成是否"可控"：支持显式删除/修改某条记忆（GDPR合规）是否"可解释"：检索时返回记忆来源时间，便于Debug 学习建议建议系统学习该知识…

#高德#Agent#向量检索

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配正文：…SFT更适合知识特性频繁更新、领域专精通用能力、长期稳定数据规模海量文档（TB级）高质量指令对（万级）响应形式需要引用来源需要风格/人格化延迟要求可接受百毫秒级检索极致低延迟 RAG更具优势的具体场景 1. 动态知识场景金融政策解读、医药说明书查询、客服知识库——知识每天更新，SFT追不上 2. 长尾专业领域法律条文检索、企业内部文档问答——训练数据稀缺，但文档库完整 3. 高可信要求的问答医疗诊断辅助、投资分析报告——必须给出参考依据，不能"脑…

#美团#模型微调#RAG vs SFT

面试题·模型微调· 华为

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

匹配正文：…”。它适合修正稳定、可由高质量示例表达的行为问题，例如分类边界、固定输出风格或持续的指令遵循失败。若缺的是当天政策、库存、告警或可引用事实，应通过受权限控制的数据查询或 RAG 提供上下文；微调不能替代实时事实源。两个常见误区 Few-shot 不等于复制示例。 In-context learning 是模型根据当前上下文调整预测，效果会受模型、任务、示例内容与顺序影响；研究中也存在 zero-shot 优于某些 few-shot 排列的情况。示例放在请求里不等于满足合规…

#华为#Few-shot 提示#Zero-shot 对比

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配正文：…必须分别做消融，避免同时改动后无法归因。生成层对候选证据做去重、冲突检测、上下文预算和位置安排。 Prompt 明确证据边界、引用格式和证据不足时的行为。分开测答案正确性、引用支持率、faithfulness、覆盖率与拒答，不能只看语言流畅度。高风险输出可增加规则、NLI/验证器或人工确认。系统层记录 query 改写、召回列表、重排分数、最终上下文、模型版本和回答，保证 bad case 可回放。监控 P95/P99、QPS、缓存命中、索引新鲜度、token …

#AIlab#检索器优化#RAG 优化

面试题·模型微调· 字节

RAG 工作原理与架构怎么搭?

匹配正文：…ua、LongLLMLingua，减少token消耗 2. 生成侧优化重排序后Top-K：精排后取3-5条最相关，避免噪声干扰引用溯源：让模型输出引用标记，便于事实核查 3. 工程优化预检索缓存：热门Query结果缓存增量索引：支持实时数据更新，避免全量重建四、RAG vs 微调选择场景推荐方案知识频繁更新、需溯源 RAG 需要学习新风格/格式、知识边界模糊 SFT 高频Query、追求极致延迟 RAG+缓存，或SFT蒸馏实际项目常两者结合：RAG提供实时知…

#字节#RAG 系统架构#RAG 工作原理

面试题·模型微调· 百度

RAG 端到端工作流程

匹配正文：… 幻觉问题容易编造事实基于检索文档生成，可控可溯源成本全量微调昂贵只需更新知识库，零训练成本可解释性黑盒生成可展示引用来源，便于审计典型变体 Naive RAG：基础检索+生成 Advanced RAG：查询重写、重排序（Rerank）、混合检索（向量+关键词） Modular RAG：引入路由、多跳检索、主动选择等复杂流程

#百度#RAG 端到端工作流程#RAG 从查询到答案怎么工作？完整流程与可靠性边界

面试题·模型微调· 字节

RAG 技术原理与架构怎么搭?

匹配正文：…解/改写 → 多路检索（向量+关键词+图谱） ↓ 重排序（Rerank）→ 上下文压缩 → 构建Prompt ↓ LLM生成 + 引用溯源 ← 答案后处理核心组件选型： Embedding：BGE、M3E（中文）、OpenAI text-embedding-3 向量库：Milvus（大规模）、Qdrant（轻量）、Elasticsearch（混合场景） Rerank：Cross-Encoder（精度高但慢）、ColBERT（平衡）三、最佳实践环节关键做法文档切分按…

#字节#RAG 最佳实践#RAG 技术原理

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：…、多向量表示（ColBERT）四、模型集成与生成上下文压缩：检索结果去冗余，用LLM摘要或选择性上下文 Prompt设计：明确引用格式要求，强制"不知道就拒绝" Citation生成：要求模型标注信息来源，提升可信度五、效果评估：闭环迭代层级指标方法检索 Recall@K、MRR 人工标注或合成评测集生成忠实度、答案相关性 LLM-as-Judge（GPT-4/Claude）端到端用户满意度、任务完成率 A/B测试、人工评估持续优化：Bad case分…

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…与微调（通用vs领域模型、对比学习微调）检索架构设计（多路召回、重排序、查询改写）生成环节优化（Prompt工程、上下文压缩、引用溯源）端到端评估体系（检索准确率、生成忠实度、领域专家评估）一、数据准备：领域知识工程化文档解析与结构化非结构化：PDF/Word用Unstructured/MinerU解析，保留标题层级、表格结构多模态：医疗影像报告需OCR+结构化提取，金融财报表格转Markdown 领域标准化：建立术语词典（如ICD-10编码、法律法条编号），统…

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 美团

RAG 深度与局限怎么破?

匹配正文：…解 RAG的核心价值与深度优势层面知识动态化：无需重训模型即可更新知识，解决大模型"幻觉"和时效性问题可溯源性：检索片段作为引用，提升生成可信度，满足合规审计需求成本可控：相比全量SFT，RAG的边际成本极低，适合频繁变更的业务知识技术深度体现不仅是"向量检索+Prompt拼接"，而是涉及查询理解→多路召回→精排融合→上下文压缩→生成约束的全链路优化关键局限性局限类型具体表现典型场景检索质量瓶颈语义匹配≠相关性，Top-K可能漏关键信息专业术语、多义…

#美团#RAG 局限性#RAG 优化方向

面试题·模型微调· 百度

Prompt Engineering 关键原则有哪些?

匹配正文：…示可帮助约定语气、职责和评审标准，不能赋予模型未提供的政策、法律或专业事实。事实问题应提供受权限控制的当前资料、检索或工具，并要求引用与缺证据时拒答。把模型称为“资深专家”不能替代事实和风险校验。怎样评估和选方案建立包含正常、边界、对抗、长输入和无依据问题的版本化评测集，记录任务正确率、格式通过率、引用支持、安全失败、延迟和成本。提示变化用同一数据盲测并保留回滚。格式/语气问题先改提示；缺当前知识用 RAG/工具；稳定行为或领域映射不足再评估 SFT；权限和业务规则始终由…

#百度#模型微调#Prompt工程

面试题·模型微调

RAG检索相关但生成差原因

匹配正文：…如LLMLingua），或只保留与问题相关的句子结构化提示明确标注[Document 1] [Document 2]，强制模型引用来源指令强化添加"若文档不足以回答，请明确说明"等约束，抑制幻觉二、上下文建模（架构层面）动态窗口分配：长文档用滑窗+层次摘要，短文档直接拼接多文档融合：先让模型分别总结各文档，再综合生成（Map-Reduce模式）噪声过滤：训练轻量分类器剔除低质量检索结果三、模型微调（深度优化）检索感知SFT：训练数据包含(问题, 检索文档,…

#上下文压缩#生成调优#RAG 生成优化

面试题·模型微调

生成质量差怎么调优?

匹配正文：…r对检索结果二次排序上下文窗口溢出语义压缩：用LLM提取关键句，或滑动窗口分段处理多文档冲突冲突检测+源标注：要求模型标注引用来源，显式处理矛盾 3. 模型微调（成本较高但效果显著） SFT：用领域高质量QA对微调，强化"基于文档回答"的指令遵循能力 RLHF/DPO：针对连贯性、忠实度训练奖励模型，减少幻觉 4. 生成控制与后处理解码参数：降低temperature（0.1-0.3）、调整top_p提升确定性结构化生成：强制JSON/特定格式输出，约束模型行为 …

#RAG 生成质量#指令遵循#生成模块调优

面试题·模型微调

生成模型回答不准怎么调?

匹配正文：…败"的边界，定位问题根因掌握提示工程、上下文压缩、重排序等轻量级优化手段理解SFT/RLHF在RAG场景的特殊性（如拒答能力、引用忠实度）提及系统级方案如多模型路由、生成后校验问题定位：检索准≠生成好先确认是生成能力不足还是检索-生成对齐问题：检索片段本身矛盾/冗余 → 上下文组织问题模型忽略检索内容、自由发挥 → 注意力对齐问题模型无法理解专业领域知识 → 领域适配问题分层优化策略 1. 提示工程（零成本）显式指令：强制要求"基于以下材料回答，禁止推测"…

#生成模型调优#上下文利用#RAG 生成不准确

面试题·模型微调· 百度

怎么提升对话模型事实一致性?

匹配正文：…索引擎、数据库）关键：训练模型识别"知识边界"，对不确定信息主动触发检索二、训练策略层面 SFT阶段构造高质量事实性数据集：引用来源明确、可验证的问答对引入"拒绝回答"样本，训练模型在不确定时表达不确定性 RLHF/DPO优化奖励模型需加入事实准确性维度，不仅看流畅度使用RAG增强的偏好数据：对比"有检索支持的回答"vs"纯参数记忆回答" 三、推理优化层面解码策略约束解码：用知识图谱或检索结果约束token生成空间 Self-Consistency：多次采样，…

#百度#模型微调#评估与监控

面试题·模型微调· 美团

RAG 解决了哪些核心问题?

匹配正文：…知识企业政策、产品手册和内部流程可以通过检索按权限注入上下文，无需为每次事实变化重新训练模型。系统仍要做好文档级授权、租户隔离和引用回查，避免检索到用户无权访问的内容。 3. 幻觉与可追溯性检索证据、引用和“资料不足时拒答”可以降低部分无依据生成，但前提是证据正确、完整且生成器忠实使用。错误召回、冲突文档或过期索引也可能让答案更差，因此需要分别评估证据召回、忠实度和答案正确性。与 SFT 的边界 RAG 更适合注入经常变化的事实与可引用资料。 SFT 更适合学习格式、风…

#美团#知识增强#RAG 核心问题

面试题·RAG

大模型幻觉是什么？怎么缓解？

匹配正文：…是不是事实” 训练数据有错漏、知识有截止日期、模型不知道自己不知道，三者共同加剧幻觉缓解三板斧：RAG 提供事实依据、提示词约束引用来源、允许模型说“不知道” 幻觉只能缓解、无法根除，高风险场景必须保留人工审核兜底核心概念大模型幻觉（Hallucination）是指模型生成了看似流畅合理、实际却与事实不符或凭空捏造的内容，比如编造不存在的论文、虚构法律条文。它最危险的地方在于“说得特别像真的”，普通用户很难分辨。幻觉为什么会发生本质是文字接龙：大模型的训练目标是根据…

#入门#基础概念#大模型幻觉

面试题·知识图谱· 澜舟

LLM 事实准确性怎么保证?

匹配正文：…强制从检索结果中复制，非生成 Chain-of-Verification：先生成回答，再自动提取事实claims进行二次检索验证引用溯源：每个结论强制附加来源编号，支持人工复核 3. 一致性保障机制多模型交叉：主模型+专用校验模型（如训练事实核查分类器）并行输出，不一致时触发降级时序一致性检查：对时间序列数据（如"2023年Q3营收"）校验与历史数据的逻辑连贯性规则硬约束：内置金融规则引擎（如会计恒等式校验），拦截明显违背常识的输出 4. 金融特有设计可审计日志：完…

#澜舟#LLM 事实准确性#知识图谱 LLM

面试题·知识图谱· 字节

医疗法律 RAG 合规追溯

匹配正文：…信度低时主动追问（如"您指的是刑法第X条还是民法第X条？"） 4. 生成与校验上下文压缩：用LLM摘要长文档，保留关键证据片段引用溯源：强制要求模型输出引用来源，用户可点击验证事实性校验：医疗用UMLS知识库做实体一致性检查；法律用法条时效库过滤失效条款三、领域特殊考量维度医疗法律时效性诊疗指南版本管理法条修订追踪、地域差异权威性多源证据等级标注判例效力层级（指导案例>参考案例）风险管控风险提示+人工复核触发执业资质校验+边界拒答四、迭代优化…

#字节#医疗法律 RAG 合规追溯#医疗和法律 RAG 怎么做安全合规与证据追溯