匹配正文：…题黄金文档实验（Golden Document Test）将标准答案依赖的文档直接注入context，若生成质量显著提升 → 检索是瓶颈若仍有问题 → 生成模块或prompt设计有问题检索侧关键指标指标用途健康阈值 Recall@K 相关文档是否被召回 >0.8（K=5/10） MRR/NDCG 排序质量视场景，MRR>0.5 Context Precision 检索结果中噪声比例越高越好快速诊断信号用户问题与召回文档语义明显不相关 → Embeddin…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估· 百度

RAG 架构怎么工作?

匹配正文：答案要点清晰描述RAG的两阶段架构（检索+生成）说明向量检索的核心机制（embedding、相似度计算）解释RAG缓解幻觉的原理列举至少2个优势（知识时效性、可溯源性等）提及至少2个局限（检索质量依赖、上下文长度限制等） RAG基本架构 RAG = 检索（Retrieval） + 生成（Generation），核心思想是"外挂知识库"：用户Query → 向量化 → 向量检索 → Top-K文档 → 拼接Prompt → LLM生成工作流程拆解 1. 索引阶段（…

#百度#评估与监控#RAG 架构

面试题·评估· 字节

知识库更新策略怎么选?

匹配正文：…两种策略及适用场景说明近实时更新的技术方案（CDC、消息队列、定时任务）阐述一致性保障机制（双写、版本控制、事务）提及更新对检索质量的影响及重索引策略体现对实际工程权衡（成本、延迟、准确性）的理解知识库更新策略按更新粒度分类全量重建：定期（如每天/每周）重新拉取全部数据、重新分块、重新生成embedding 优点：数据一致性最好，可彻底清理脏数据缺点：成本高、耗时长，适合数据量小或低频变更场景增量更新：仅处理变更数据（新增、修改、删除）基于CDC（Chan…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#评估与监控#RAG 知识库更新

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配口述回答：…要有，但只能占一部分，因为它太容易了，模型很快就学会了。真正有价值的是 hard negative，也就是被 [[BM25]] 或向量检索排得很靠前，但人工判断不能回答问题的文档。比如用户问“退款到账时间”，召回到一篇“退款申请入口”的文档，它主题很近但不能回答到账时间，这种样本对 reranker 最有训练价值。数据来源可以分几类。冷启动时用人工标注，质量最高，可以做验证集和黄金集。上线后可以用点击、收藏、人工采纳、客服改写这些行为日志，但要处理位置偏置，因为排第一的文档…

#美团#重排与优化#Reranker 训练数据

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配正文：…在的事实（如错误的人物关系）忠实性幻觉：输出与输入/上下文不一致（如摘要偏离原文）缓解方法需针对性选择。主流技术方法 1. 检索增强（RAG）核心思路：外接知识库，将生成约束在检索到的证据上标准流程：查询改写 → 向量检索 → 重排序 → 上下文增强生成关键优化：多路召回、HyDE（假设文档嵌入）、Self-RAG（反思token）局限：检索失败时幻觉反而加重，需配合置信度校准 2. 微调策略事实性SFT：用高质量QA对训练，强化"不知道就拒绝" 偏好对齐：R…

#联通#大模型幻觉缓解#检索增强

面试题·模型微调· 字节

RAG 工作原理与架构怎么搭?

匹配正文：答案要点 RAG核心流程：索引-检索-生成三阶段向量检索与语义匹配原理关键优化技术（分块策略、重排序、混合检索） RAG vs 微调的选择场景实际落地中的挑战与解决方案一、RAG核心工作原理 RAG = 检索（Retrieval）+ 生成（Generation），解决大模型知识时效性和幻觉问题。三阶段流程：索引阶段：文档切分 → Embedding编码 → 向量数据库入库检索阶段：用户Query向量化 → 相似度搜索 → Top-K召回生成阶段：Query +…

#字节#RAG 系统架构#RAG 工作原理

面试题·模型微调· 字节

RAG 技术原理与架构怎么搭?

匹配正文：答案要点 RAG核心流程（索引-检索-生成）的完整理解向量数据库选型与优化要点检索策略（稠密/稀疏/混合）的权衡实际落地中的关键挑战（幻觉、时效性、多跳推理） RAG与微调的结合思路一、技术原理 RAG的核心思想：用外部知识弥补大模型的知识截止和幻觉问题，把LLM从"闭卷考试"变成"开卷考试"。标准流程三步走：索引（Indexing）：文档切分→Embedding编码→向量库存储检索（Retrieval）：Query向量化→相似度搜索→Top-K召回生成（Ge…

#字节#RAG 最佳实践#RAG 技术原理

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：答案要点领域数据清洗与结构化（非结构化文档解析、表格/图表处理、领域术语标准化） Embedding模型选型与微调（通用vs领域模型、对比学习微调）检索架构设计（多路召回、重排序、查询改写）生成环节优化（Prompt工程、上下文压缩、引用溯源）端到端评估体系（检索准确率、生成忠实度、领域专家评估）一、数据准备：领域知识工程化文档解析与结构化非结构化：PDF/Word用Unstructured/MinerU解析，保留标题层级、表格结构多模态：医疗影像报告需OCR…

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 百度

大模型知识库怎么构建?

匹配正文：答案要点数据收集策略与来源选择数据清洗与质量评估方法 Embedding模型选型与微调向量索引结构选择（HNSW/IVF）检索策略优化（重排序、混合检索）知识库更新与维护机制一、数据收集阶段来源分类结构化数据：数据库、API、Excel表格非结构化数据：PDF、Word、网页、聊天记录半结构化数据：Markdown、JSON、XML 关键原则优先收集高频查询场景的数据建立数据版本管理和溯源机制二、数据清洗与预处理核心步骤格式统一：PDF转文本（处…

#百度#大模型知识库构建#知识库向量化

面试题·模型微调· 美团

RAG 深度与局限怎么破?

匹配正文：…技术边界的理解 RAG的核心价值与深度优势层面知识动态化：无需重训模型即可更新知识，解决大模型"幻觉"和时效性问题可溯源性：检索片段作为引用，提升生成可信度，满足合规审计需求成本可控：相比全量SFT，RAG的边际成本极低，适合频繁变更的业务知识技术深度体现不仅是"向量检索+Prompt拼接"，而是涉及查询理解→多路召回→精排融合→上下文压缩→生成约束的全链路优化关键局限性局限类型具体表现典型场景检索质量瓶颈语义匹配≠相关性，Top-K可能漏关键信息专…

#美团#RAG 局限性#RAG 优化方向

面试题·模型微调

SFT vs RAG 知识更新

匹配正文：…RAG 知识更新灵活性差。需重新训练，成本高、周期长优。知识库热更新，分钟级生效推理准确性依赖训练数据质量，易幻觉可控。检索结果可溯源、可干预部署复杂度相对简单，单模型推理复杂。需向量库+检索+重排序+生成多模块泛化能力强。内化知识，复杂推理更连贯弱。依赖检索质量，知识片段间推理易断裂性能上限分析 SFT上限：受限于参数容量和训练数据天花板。模型无法记住无限知识，且知识冲突时易产生幻觉。适合模式学习（风格、格式、推理链）而非事实记忆。 RAG上限：受限…

#SFT#RAG 知识更新#SFT vs RAG 知识更新

面试题·知识图谱· 字节

GraphRAG 怎么实现复杂查询?

匹配正文：…念）关系抽取抽取实体间语义关系，构建（头实体-关系-尾实体）三元组图谱存储图数据库（Neo4j/NebulaGraph）或向量+图混合存储关键设计：实体消歧（同一实体的不同表述合并）、共指消解（代词还原）。二、检索机制：双轨协同 1. 实体检索（精确匹配层）查询中的实体识别 → 图谱中定位种子节点扩展策略：一跳/多跳邻居、特定关系类型过滤 2. 路径推理（结构推理层）基于图算法（BFS/最短路径/随机游走）发现实体间关联路径路径编码：将路径序列转为文本描述…

#字节#知识图谱#GraphRAG 实现

面试题·知识图谱· 百度

GraphRAG vs 传统 RAG 优势在哪?

匹配正文：核心优势对比维度传统RAG GraphRAG 知识表示文本块向量，隐式关系实体-关系图，显式结构化检索粒度局部相似度匹配子图/路径推理信息整合片段拼接，易割裂社区聚合，全局一致推理能力单跳，表面关联多跳，因果链条四大机制解析 1. 知识结构化建模将非结构化文本抽取为实体-关系-属性三元组同一实体跨文档归一化，消除指代歧义关系类型显式定义（如"因果关系"vs"相关关系"） 2. 语义关联发现向量检索找"相似"，图遍历找"关联" 支持多跳路径检…

#百度#知识图谱#GraphRAG 优势

面试题·知识图谱· 美团

GraphRAG 架构原理与优势

匹配正文：…段文本分块→LLM抽取实体/关系→生成社区摘要知识图谱 + 社区层级摘要查询阶段路由判断(Local/Global)→子图检索/社区遍历→上下文组装精准关联信息 Local Query：从实体出发做多跳邻居遍历，解决"某实体的关联属性" Global Query：跨社区聚合摘要，解决"整体趋势/共性特征"类问题相较传统RAG的优势维度传统RAG GraphRAG 信息组织扁平向量，语义相近≠逻辑关联显式图结构，保留因果、从属等关系检索效率相似度Top-…

#美团#知识图谱#GraphRAG 架构

面试题·知识图谱· 淘天

RAG 系统痛点怎么破?

匹配正文：三大核心痛点 1. 检索噪声（Retrieval Noise）表现：召回的Top-K文档包含无关或低质量内容，干扰模型判断根源：向量相似度≠语义相关性；Embedding模型对领域术语理解不足；Chunk切分破坏语义连贯性改进：引入Rerank模型（如BGE-Reranker）二次精排；混合检索（BM25+向量）降低单一向量空间局限；查询改写（Query Expansion）补全隐含意图 2. 上下文稀释（Context Dilution）表现：有效信息淹没在大量检索…

#淘天#知识图谱#RAG 痛点

面试题·知识图谱· 美团

GraphRAG创新点 vs 传统RAG 是什么?

匹配正文：核心思想 GraphRAG由微软提出，核心是将非结构化文本转化为结构化知识图谱，再基于图的拓扑结构进行语义检索，而非传统RAG的"文本切块+向量相似度"模式。相对于传统RAG的创新 1. 知识组织方式：层次化图结构传统RAG：文档→切片→Embedding，信息原子化，丢失跨段落关联 GraphRAG：提取实体→关系→社区三层结构实体节点：人、组织、概念等关系边：语义关联（如"投资"、"位于"）社区：基于图聚类的语义簇，生成高层摘要 2. 检索机制：全局语义 vs …

#美团#GraphRAG#传统 RAG 对比

面试题·知识图谱· 淘天

GraphRAG 工作原理是什么?

匹配正文：答案要点明确GraphRAG的核心思想：用知识图谱替代纯文本块，实现"实体-关系-实体"的图结构检索说明构建流程：文本→实体抽取→关系构建→社区检测→摘要生成对比传统RAG的局限：只能做点状局部检索，无法回答跨文档的全局性问题举例说明GraphRAG的优势场景：如"总结整个数据集的主题"这类需要聚合推理的问题 GraphRAG 核心思想传统RAG把文档切成文本块做向量检索，本质是**"找相似片段"；GraphRAG则是先构建知识图谱**，把非结构化文本转化为结构化的…

#淘天#知识图谱#GraphRAG 原理

面试题·多模态· 阿里

Multi-modal RAG 原理与挑战

匹配正文：原理与架构多模态 RAG 从文本、图像、音频或视频中检索外部证据，再由能消费相应模态的模型回答。典型流程是：OCR、ASR 或视觉编码入库，分块时保留页码、区域和时间戳；查询做模态识别与改写；多路召回、跨模态重排；最后编排上下文、生成并验证引用。索引可将多模态对齐到共享向量空间，也可为各模态分别建索引后用 RRF、分数校准或重排器晚融合。共享空间便于跨模态检索但可能损失模态细节；分索引保留专用能力却增加路由和校准复杂度。关键挑战包括：细粒度区域或时间片对齐；OCR/AS…

#阿里#多模态#多模态 RAG

面试题·多模态· 字节

截图界面怎么用 RAG 解析?

匹配正文：…+ 用户问题（可选） ↓ [图像解析模块] → 结构化UI表示（组件位置、类型、文本） ↓ [多模态编码模块] → 视觉-文本联合向量 ↓ [混合检索模块] ←→ [知识库：UI组件说明 + 交互规范 + 常见问题] ↓ [生成模块] → 组件功能解释 / 操作指引 / 故障诊断关键模块设计 1. 图像解析模块检测：用UI-specific检测模型（如ScreenSpot、CogAgent的 grounding 能力）识别按钮、输入框、导航栏等 OCR：PaddleOCR…

#字节#多模态#多模态 RAG

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配正文：多模态RAG定义传统RAG只检索和生成文本，多模态RAG将检索范围扩展到图像、视频、音频、表格等异构数据，让大模型能基于多源证据进行推理和生成。关键差异对比阶段传统文本RAG 多模态RAG 检索文本Embedding（BERT/Sentence-BERT）→ 相似度匹配跨模态统一嵌入（如CLIP视觉-语言对齐）→ 任意模态query检索任意模态doc 生成纯文本上下文输入LLM 多模态编码器（如ViT+LLM连接器）将图像/视频转为token序列，与文本拼接输入…

#快手#多模态#多模态 RAG

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：…心机制特点 ColPali 延迟交互+视觉token级编码端到端，无需OCR，适合文档理解 Qwen-VL-RAG 统一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构差异 Embedding层方案A：冻结视觉编码器（CLIP/SigLIP）+ 投影对齐方案B：端到端训练（如ColPali的ViT+Transformer）检索策略早期融合：图文拼接后统一编码晚期融合：分别检索后加…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 淘天

截图 RAG 怎么理解界面组件?

匹配正文：…UI表示（如JSON：{type: "button", text: "立即购买", bbox: [x,y,w,h]}） 2. 知识检索层设计双路索引：视觉索引：组件截图patch → 多模态embedding（CLIP/自有模型）语义索引：组件OCR文本+类型 → 文本embedding 检索策略：用户点击/框选特定组件时，用多模态向量召回Top-K相关文档；或先粗筛组件类型，再精排功能说明 3. 生成增强上下文组装：将组件结构化信息 + 检索到的产品文档/设计规范 …

#淘天#多模态#多模态 RAG

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配正文：…、跨模态检索器、多模态生成器）典型应用场景（电商图文搜索、医疗影像诊断、工业质检、多模态客服）什么是多模态RAG 传统RAG只检索文本知识，多模态RAG将检索范围扩展到图像、视频、音频、表格等多模态数据，实现"以文搜图、以图搜文、跨模态联合推理"的增强生成。核心挑战 vs 文本RAG 维度传统文本RAG 多模态RAG 表征空间单一文本Embedding空间需对齐文本、图像、视频等多个异构空间检索粒度文档/段落级需支持区域级（如图中物体）、帧级（视频关键帧） …

#阿里#多模态#Multi-modal RAG

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：答案要点文档解析与结构化提取（表格/OCR/布局分析）多模态Embedding策略（文本+图像联合编码或分离编码）检索层面的多模态对齐与融合生成阶段的跨模态上下文整合实际挑战（解析精度、计算成本、模态对齐）核心思路多模态RAG的关键是统一表示 + 按需检索 + 跨模态生成。把表格、图片都转成模型能理解的格式，同时保留结构化信息供精准召回。技术方案 1. 文档解析层类型处理方法表格用专用工具（如Camelot、Table Transformer）提取为H…

#小鹏#多模态#RAG 表格处理