匹配正文：…、操作SOP、报错案例问题-截图-解答三元组关键：用CLIP/SigLIP将组件截图编码为向量，与文档文本共享语义空间 3. 检索增强生成多路召回：视觉相似检索（找同类UI）+ 文本语义检索（找功能描述）+ 规则匹配（精确组件ID）融合排序：用轻量模型（如ColBERT）对多模态候选重排生成：输入结构化的UI上下文 + 检索到的知识，用VLM或纯文本LLM生成回答实际优化考虑问题方案延迟高预计算热门界面的解析结果；检索用HNSW近似；生成用蒸馏小模型 UI…

#字节#多模态#多模态 RAG

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：主流多模态RAG框架 1. 伪多模态RAG（早期方案）架构：图像→OCR/Caption→文本→向量库→LLM 代表：传统CLIP+文本RAG拼接问题：信息严重损耗，图文对齐弱 2. 真多模态RAG（当前主流）框架核心机制特点 ColPali 延迟交互+视觉token级编码端到端，无需OCR，适合文档理解 Qwen-VL-RAG 统一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 淘天

截图 RAG 怎么理解界面组件?

匹配口述回答：…结构化组件解析：用多模态模型或专用UI检测检索设计：双路索引，混合搜索生成增强：上下文组装与引用溯源落地风险：知识库构建和延迟优化约4分钟组件多时用GraphRAG建模层次关系，提升检索精度面试官可能追问GraphRAG的具体实现，比如如何构建图结构，以及与传统RAG的对比

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#淘天#多模态#多模态 RAG

面试题·多模态· 淘天

多模态 RAG 实现方案

匹配正文：…：解析PDF中的图表、表格、文字联合问答医疗影像辅助：CT影像+病历文本联合检索关键挑战（一句话）模态对齐质量决定检索精度，延迟成本随模态数倍增，ColPali类方案正在改变"先解析再嵌入"的传统范式。学习建议掌握多模态RAG需熟悉主流框架如LangChain、LlamaIndex，理解其与视觉语言模型的集成方式。

#淘天#多模态#多模态 RAG 实现方案

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：…码或分离编码）检索层面的多模态对齐与融合生成阶段的跨模态上下文整合实际挑战（解析精度、计算成本、模态对齐）核心思路多模态RAG的关键是统一表示 + 按需检索 + 跨模态生成。把表格、图片都转成模型能理解的格式，同时保留结构化信息供精准召回。技术方案 1. 文档解析层类型处理方法表格用专用工具（如Camelot、Table Transformer）提取为HTML/Markdown/JSON，保留行列关系；复杂表格做截图+结构化双路存储图片 OCR提取文本（…

#小鹏#多模态#RAG 表格处理

面试题·多模态· 哔哩哔哩

RAG意图识别原理与检索协同

匹配正文：…是可选的路由层，用于决定是否检索、访问哪个知识域、应用哪些元数据过滤、是否改写查询，以及选择问答、摘要、操作或拒答流程。简单单库 RAG 可以不单设该模块；多租户、多工具或多索引系统中，它能减少无关检索并执行路由策略。实现方式规则与结构化信号：关键词、实体、会话状态、产品入口，延迟低且可解释；监督分类器：BERT 等编码器输出意图与置信度，适合稳定且有标注的类别体系； LLM 结构化路由：用 schema 约束输出 intent、index、filters、need_r…

#b站#意图识别与检索路由#RAG 意图识别

面试题·Prompt· 字节

RAG Generator 怎么构造 Prompt?

匹配正文：…去重、不同排序、证据边界、引用约束和冲突处理。报告答案正确性、引用支持率、faithfulness、覆盖率、拒答率、token 和延迟，并按长上下文、冲突证据和无答案问题切片。任何效果必须来自该受控实验，不能用无来源的百分比代替。

#字节#Prompt工程#RAG Generator Prompt

面试题·Prompt· 百度

RAG 改写与 Prompt 链路

匹配正文：…略（扩展、分解、澄清、假设文档嵌入）提示词构建的核心要素（系统指令、上下文组织、引用标注、不确定性处理）实际工程中的权衡取舍（延迟vs质量、成本vs覆盖）一、Query改写策略 1. 查询扩展（Query Expansion）同义词/近义词扩展：用LLM生成语义等价表述，提升召回率 HyDE（假设文档嵌入）：让模型先写"理想答案"，用答案去检索而非原始query 子查询生成：将复杂问题拆为多个子问题并行检索，适合多跳推理场景 2. 查询分解（Query Decompo…

#百度#小鹏#美团

面试题·RAG· 淘天

RAG vs 传统检索生成怎么选?

匹配正文：…性事实幻觉显著降低，可溯源检索噪声污染（错误文档误导生成）医疗/法律问答知识实时性知识库更新即时生效，无需重训模型检索延迟影响TTFT（首token时间）电商促销信息系统灵活性同一模型适配多领域，仅换知识库领域迁移时检索-生成对齐困难多租户SaaS 可解释性生成内容可关联溯源文档知识冲突时缺乏显式消解机制金融合规四、演进意义：从"记忆"到"查阅" RAG的核心范式跃迁在于知识存储位置的转移：传统LLM：知识固化于参数（parametric me…

#淘天#RAG信息融合#RAG与传统检索生成对比

面试题·RAG· 字节

RAG 检索模块怎么提升相关性?

匹配正文：检索模块工作机制 RAG检索模块的核心流程：索引构建：文档切分→Embedding编码→写入向量数据库在线检索：查询向量化→近似最近邻搜索（ANN）→返回TopK候选结果组装：结合元数据过滤，送入生成模块三种提升相关性的方法 1. 混合检索（Hybrid Search）原理：融合向量语义检索 + 关键词匹配（BM25），解决向量检索对专有名词、ID类信息召回不足的问题融合策略：线性加权 score = α·dense_score + (1-α)·sparse_sc…

#字节#Query Rewriting#RAG 检索模块

面试题·RAG· 字节

RAG 查不到文档怎么降级?

匹配正文：…导用户明确需求增加交互成本转人工/工单专业/敏感场景兜底可靠人力成本高，时效差推荐热门/相关文档有相似主题内容保持RAG链路可能偏离用户意图网络搜索补充时效性要求高扩展知识边界结果不可控，延迟增加决策逻辑设计相关性分数 > 阈值 → 正常RAG回答阈值1 < 分数 < 阈值 → 低置信度警告 + 大模型补充回答分数 < 阈值1 → 触发追问/推荐/转人工关键：阈值不是固定的，可按问题类型（技术/业务/闲聊）、用户身份（VIP/普通）动态调整…

#抖音#RAG降级策略#RAG fallback

面试题·RAG· 美团

RAG 知识库怎么增量更新?

匹配追问：…格、库存频繁变动。你不可能每次变动都重建整个索引吧？那你怎么只把新增或更新的文档高效地加进去，同时保证查询结果不滞后？层层追问 RAG系统的知识库文档更新了，你怎么让索引跟上变化？……如果只是新增一两个文档，直接插进现有索引行不行？……那如果频繁插入，索引性能会不会下降？怎么缓解？……再极端一点，万一插入了错误文档，怎么回滚？直球架构设计一个RAG知识库的动态增量更新方案，要求：支持文档高频新增、低延迟索引生效、资源开销可控。请讲清楚索引选型、工程架构（比如双缓冲、WA…

#美团#知识库增量索引#RAG 增量更新

面试题·RAG· 淘天

RAG 模型分类有哪些?

匹配正文：…动决策关键能力：模块功能检索器可切换（向量/图谱/搜索引擎）调度器判断是否需要检索、何时停止生成器支持Self-RAG（反思token）、FLARE（动态检索）代表：Self-RAG、ReAct、RAG-Fusion 适用：科研分析、多跳推理、开放域复杂任务架构差异对比维度 Naive Advanced Modular 延迟低中高准确性依赖索引质量显著提升最高灵活性无有限高度可编排运维成本低中高选型建议：从Naive快速…

#淘天#RAG架构分类#RAG 分类

面试题·RAG· 字节

RAG 二次生成怎么提升安全性?

匹配正文：核心结论能提升，但非万能。大模型二次生成是RAG安全防线的重要一环，需配合检索质量、规则拦截等多层防护。作用机制与实例 1. 敏感内容过滤（输入侧净化）场景：用户查询含诱导性提问（如"如何制作违禁品"），检索可能返回边缘知识机制：大模型基于安全对齐训练，识别检索内容的敏感属性，拒绝合成或输出安全提示抖音实例：直播话术RAG中，检索到历史违规案例后，模型生成"该表述存在违规风险，建议替换为..."而非直接复现 2. 事实一致性增强（输出侧校验）机制：利用模型推理能力…

#抖音#RAG输出安全#RAG 二次生成

面试题·RAG· 百度

RAG 项目指标化复盘

匹配正文：真实性边界这是 RAG 项目经历题。公司、客户、语料规模、模型、索引、个人贡献和指标必须来自候选人的真实项目。不得使用题库预设的制造业知识库、设备编码或效果数字。回答框架场景与目标：用户问题、知识来源、更新频率、权限、主指标和服务预算。个人职责：填写本人实际负责的模块，例如文档、检索、重排、生成、评测、服务或监控，并明确团队依赖。完整链路：采集与解析 → 分块和元数据 → 索引 → 查询处理 → 召回 → 重排 → 上下文 → 生成与引用 → 观测。选型取舍：稀疏…

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·RAG

Deep Research vs RAG 怎么选?

匹配正文：…中间结果决定下一步检索方向多源信息整合与交叉验证典型实现：ReAct/CoT + 浏览器工具 + 长上下文整合应用场景对比 RAG适合 Deep Research适合企业内部知识库问答行业调研、竞品分析客服机器人、文档助手学术研究、投资尽调医疗/法律条文查询需要多源交叉验证的复杂决策优缺点 RAG ✅ 成本低、延迟可控、结果稳定 ❌ 无法处理需要多跳推理的开放问题 Deep Research ✅ 信息覆盖全、推理深度强、可溯源 ❌ 成本高（token消耗大…

#Deep Research#RAG#Deep Research vs RAG

面试题·检索· 字节

RAG检索质量提升5法

匹配正文：RAG 检索优化应按检索前、检索中和检索后三个阶段设计，并用独立评测判断每一步是否真的带来增益。 1. 检索前：查询理解与扩展查询改写：消除指代、纠错或补全约束，使 query 自包含。多查询/子问题分解：从不同表述或子任务召回候选，再去重融合。 HyDE：先生成假设文档表示再检索，适合原查询与目标文档表述差异较大的场景，但假设内容偏差也可能带来噪声。伪相关反馈：利用首轮结果扩展词项，需防止错误结果造成 query drift。 2. 检索中：多路召回与排序 BM25 …

#字节#重排与优化#RAG 检索质量提升

面试题·检索· 字节

RAG Retriever 工作流程详解

匹配正文：…处理 ANN检索内存占用、建索引时间分层量化、增量索引 Rerank 二次编码开销轻量模型、截断候选集关键权衡：召回率vs延迟，通常离线评测Recall@K，线上关注P99延迟。实际系统中常做"快路径"（纯向量）+ "慢路径"（+重排）分级处理。学习建议建议先掌握向量检索基础，理解嵌入模型和相似度计算原理，再结合RAG架构学习Retriever的工作流程，通过动手实践加深理解。

#字节#重排与优化#RAG Retriever 工作流程

面试题·检索· 百度

RAG 瓶颈在哪一步

匹配正文：…）生成增强：引用标注训练（让模型明确依据）；拒绝回答机制（低置信度时触发）影响：答案准确率提升，但重排增加50-100ms延迟瓶颈4：系统级权衡优化方向延迟准确率成本适用场景缓存优先 ↓↓↓ → ↓ 高频Query主导混合检索 ↑ ↑↑ → 专业领域知识库 LLM重排 ↑↑ ↑↑↑ ↑↑ 高精度要求场景模型蒸馏 ↓ ↓ ↓↓↓ 边缘部署核心原则：先做检索质量（相关性是天花板），再攻系统性能（延迟决定可用性）。学习建议建议先掌握RAG的检索与生…

#百度#重排与优化#RAG 系统瓶颈

面试题·检索· 字节

RAG 为什么需要 Re-ranking?

匹配正文：…述模糊，需要深度理解意图对答案准确性要求极高（医疗、金融）关键权衡：候选集大小：通常取Top-K=20~100做重排，K太大延迟爆炸，太小可能漏掉优质doc 延迟优化：可用轻量交叉编码器（如MiniLM）、蒸馏模型，或GPU batch推理级联策略：多轮重排（粗排→精排→LLM pointwise打分）平衡效果与成本一句话总结重排是用计算换精度的关键设计，让RAG从"找得到"进化到"找得准"。学习建议建议先掌握RAG基本流程，理解检索与排序的区别，再学习典型重…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

RAG 原理与核心架构

匹配题目：请系统阐述检索增强生成（RAG）的基本原理、核心系统架构与关键组成模块，并结合实际应用场景，分析其在提升大语言模型事实准确性、应对知识更新延迟及减少幻觉方面的优势与技术机制。

#字节#重排与优化#RAG 原理与核心架构

面试题·检索· 字节

RAG 系统迭代优化方向有哪些?

匹配正文：…回（向量+关键词+图谱）、MRR多轮迭代召回重排序环节优化精排模型：Cross-Encoder（精度高但慢）、ColBERT（延迟交互，效率平衡）多阶段漏斗：向量召回Top100 → BM25粗排 → Cross-Encoder精排Top10 动态重排：结合用户反馈的在线学习排序上下文融合优化上下文压缩：LLMLingua选择性压缩、重排序后截断关键片段多文档处理：去重合并、按相关性加权融合、构建结构化上下文（表格/树状）长上下文利用：Lost in Middl…

#字节#RAG迭代优化#RAG 优化

面试题·检索· 字节

RAG 检索优化:重排序怎么用?

匹配正文：RAG检索优化可以从检索前、检索中、检索后三个阶段系统提升：一、检索前：查询优化查询扩展：用LLM生成伪文档（HyDE）或扩展查询词，弥补用户query语义不完整的问题查询改写：识别用户真实意图，消解歧义（如"苹果"→区分水果/公司）多跳查询分解：复杂问题拆成子查询，分别检索后聚合二、检索中：混合检索单一向量检索有局限，典型组合：稠密+稀疏：向量语义匹配 + BM25关键词匹配，互补召回分数融合：线性加权或 learned sparse retrieval（如…

#字节#混合检索#RAG 检索优化

面试题·检索· 字节

RAG 为何还要重排?

匹配口述回答：…er 要实时计算查询和每个候选文档的交互，复杂度是 O(n)，n 是召回的数量。如果召回 Top-100，重排就要算 100 次，延迟会明显增加。所以落地时有个前提：召回数量不能太大，通常控制在 20 到 50 条以内。如果召回量太大，比如一次捞几百条，重排的延迟就吃不消了。常见的失败场景就是，为了追求极致精度把召回量设得很大，结果重排成了瓶颈，整个 RAG 链路的响应时间翻了好几倍。所以我的做法是，先保证召回质量，用 [[Hybrid Search]] 比如 [[BM25…

#字节#重排与优化#RAG 重排