匹配正文：…检索模块] ←→ [知识库：UI组件说明 + 交互规范 + 常见问题] ↓ [生成模块] → 组件功能解释 / 操作指引 / 故障诊断关键模块设计 1. 图像解析模块检测：用UI-specific检测模型（如ScreenSpot、CogAgent的 grounding 能力）识别按钮、输入框、导航栏等 OCR：PaddleOCR/EasyOCR提取界面文本，与检测框关联结构化输出：生成类似{type: "button", bbox: [x,y,w,h], text: "…

#字节#多模态#多模态 RAG

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配正文：… 实现方式： CLIP-based双塔：图像和文本共享嵌入空间，用FAISS/Pinecone构建多模态向量库多模态LLM + RAG：GPT-4V/InternVL等原生支持图像输入，检索阶段返回图像+文本混合上下文应用场景：电商客服：用户上传商品瑕疵图 → 检索相似案例图+解决方案文本医疗诊断：CT影像 + 病历文本联合检索，辅助报告生成工业质检：视频流关键帧检索，定位故障历史记录学习建议建议先掌握传统RAG和多模态基础概念，再结合论文与开源项目理解跨模态对…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#快手#多模态#多模态 RAG

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配正文：答案要点明确多模态RAG的定义（支持文本、图像、视频、音频等多模态输入和检索）技术挑战（跨模态语义对齐、多模态索引构建、模态融合策略）核心组件（多模态编码器、跨模态检索器、多模态生成器）典型应用场景（电商图文搜索、医疗影像诊断、工业质检、多模态客服）什么是多模态RAG 传统RAG只检索文本知识，多模态RAG将检索范围扩展到图像、视频、音频、表格等多模态数据，实现"以文搜图、以图搜文、跨模态联合推理"的增强生成。核心挑战 vs 文本RAG 维度传统文本RAG 多模…

#阿里#多模态#Multi-modal RAG

面试题·RAG· 淘天

RAG 核心架构与工作流程

匹配正文：… 知识时效性无需重训即可更新知识库领域专业知识注入企业私有数据，弥补通用模型短板生成可控性通过限定检索范围约束回答边界 RAG vs 纯参数化模型：场景对比 RAG显著更优的场景：高事实准确性要求：医疗诊断、法律咨询、金融合规（需精确引用条文）知识高频更新：新闻问答、产品信息、股价/天气等实时数据长尾知识密集：企业内部文档、专业手册（训练语料覆盖少）可解释性刚需：需给出参考来源的场景（客服溯源、学术辅助）纯LLM更合适的场景：通用创意写作、开放式闲聊（无…

#淘天#阿里#RAG 架构

面试题·RAG· 字节

垂直领域 RAG 完整架构

匹配正文：…接回答/中置信建议复核/低置信拒答五、安全合规体系维度机制权限隔离 RBAC：实习医生/主治/主任可见范围分级内容安全诊断建议必须含"仅供参考，请遵医嘱" 审计追踪查询-检索片段-生成结果全链路ID绑定人工兜底复杂case自动转人工复核队列六、协同机制示例（医疗问诊）用户症状描述 → 实体识别（症状/病史）→ 图谱召回相似病例 ↓ 生成初步分析 ← 指南条款精排 ← 向量召回诊疗规范 ↓ 置信度评估 → 高：输出+引用 | 低：触发多轮追问/转人工核心…

#字节#垂直领域RAG#垂直领域 RAG 完整架构

面试题·检索· 小红书

RAG检索不准的失败场景与优化

匹配正文：…代检索-生成联合训练：用生成答案的loss反向优化检索用户点击/点赞数据构建困难样本，迭代embedding 关键区分场景诊断方法解决思路检索未召回检查正确答案是否在候选池扩大召回、混合检索、查询扩展检索召回但排序低查看正确答案的原始排序位次重排序优化、特征工程检索正确但生成错分析上下文窗口、指令遵循提示工程、RAG-specific微调实际优化需结合具体bad case分析，避免盲目堆技术。学习建议深入理解RAG架构，掌握检索与生成模块的协…

#小红书#美团#重排与优化

面试题·检索· 字节

领域 RAG 架构如何控幻觉?

匹配正文：…分数过低时触发"知识库未覆盖"提示，拒答或转人工幻觉检测：用NLI模型校验生成内容与检索片段的一致性人机协同高风险场景（医疗诊断/法律意见）设置审核节点用户反馈收集：👍/👎 → 用于检索模型和生成模型的迭代四、工程落地要点离线在线分离：知识库更新走离线Pipeline，不影响在线服务缓存策略：热门法条预加载，相似Query结果缓存监控看板：检索命中率、生成引用率、用户满意度三联指标

#字节#专业领域RAG#领域 RAG 架构

面试题·评估· 美团

RAG 指标权衡与阈值

匹配口述回答：这道题问的是[[RAG]]系统怎么评估，其实本质是在问：你怎么判断一个RAG系统好不好用，以及在不同业务场景下怎么取舍。因为RAG的流程分检索和生成两段，评估也得拆开看。先说检索质量。最基础的指标是 Recall@K，就是相关文档有没有被召回来。这个在知识库场景特别重要，比如企业内部的SOP文档，用户问一个合规问题，你得把相关条款全找出来，漏一条都麻烦。所以知识库我会优先保召回，哪怕多召回一些噪声，后面靠[[重排]]过滤。排序质量呢，用 NDCG 或者 MRR，就是看高相关…

#美团#评估与监控#RAG 指标权衡与阈值

面试题·评估· 百度

RAG 架构怎么工作?

匹配口述回答：…oder]]重新打分，把真正相关的顶上来。还有就是置信度过滤，分太低的直接扔掉，宁可少给信息也别给错的。还有一个常被问到的问题是RAG和微调的边界。我的看法是，RAG适合知识更新快、需要溯源的场景，比如客服的退款政策、企业SOP；微调适合让模型学会特定风格或推理模式，比如医疗诊断的[[思维链]]。实际项目里我经常两者一起用，微调让模型更听话，RAG给它最新知识。所以总的来说，RAG不是万能药，但它确实是当前落地大模型最务实的一条路。我会把它看成是"给模型配一个可更新的外部…

#百度#评估与监控#RAG 架构

面试题·模型微调· 字节

RAG Embedding 模型怎么选?

匹配题目：在RAG系统中，选择特定Embedding模型进行检索时需要考虑哪些关键因素？

#字节#向量检索#RAG Embedding 选型

面试题·RAG· 字节

高精度RAG系统设计陷阱

匹配口述回答：…、什么时候该说不知道。先说边界。很多人一上来就想微调模型，但微调适合把领域风格或固定话术刻进去，不适合管理频繁更新的法规或指南。RAG正好补这块，知识变了你换文档就行，不用重新训练。检索也一样，纯关键词（[[BM25]]）匹配快但漏同义词，纯向量能理解语义但容易召回无关内容。所以我会**[[Hybrid Search]]**，把关键词和向量两条路结合起来，再加一层[[重排]]，把高置信度的结果顶上去。具体到业务，拿医疗场景举例。假设做一个辅助诊断的问答助手，知识库里得有临…

#字节#高精度RAG#高精度 RAG

面试题·检索· 阿里

RAG 召回又快又准靠什么?

匹配口述回答：我觉得这道题其实是在问一个很本质的问题：当你面对一个[[RAG]]系统的时候，怎么在精度、速度和成本这三个维度上做取舍。说白了，召回链路没有银弹，每个策略都有它的适用边界和代价。先说检索效率。很多人上来就推[[HNSW]]，但HNSW其实更适合中等规模、对延迟要求高的场景，比如在线客服。如果数据量到了千万级甚至亿级，我会更倾向用[[IVF-PQ]]或者ScaNN，因为HNSW的内存占用太大了。举个例子，一个电商客服系统，商品政策和退款规则大概几百万条，用HNSW能毫秒级召回…

#阿里云#召回链路优化#RAG 召回优化

面试题·评估

RG 系统效果差怎么排查?

匹配正文：答案要点建立分层诊断框架，区分检索侧、生成侧、协同侧三类问题掌握定量指标（Recall@K、上下文相关性、忠实度）与定性分析（bad case分析）结合的方法理解检索-生成耦合效应（如检索冗余、信息冲突）具备实际可落地的排查工具链和实验设计能力核心排查框架：分层隔离诊断把RAG系统拆成三个独立可测的环节，逐个验证：一、定位检索模块问题关键指标 Recall@K：正确答案是否在Top-K检索结果中 MRR/NDCG：相关片段的排序质量诊断方法人工标注100个…

#检索归因#生成归因#RG 系统故障排查

面试题·评估

检索准但生成差，怎么调优？

匹配正文：答案要点能够系统性地拆解RAG链路，提出可量化的诊断方法掌握检索模块的独立评估指标（Recall@K、MRR等）掌握生成模块的评估维度（忠实性、相关性、流畅性）给出至少3种针对性的生成优化策略能区分"检索准但生成差"的典型场景（如上下文利用不足、指令遵循弱）一、系统性诊断：定位问题模块核心原则：将RAG链路拆分为独立可测的环节，避免"黑盒调试"。 1. 检索模块独立评估离线指标：计算Recall@K、MRR、NDCG，对比Top-K检索结果与人工标注的相关文档…

#上下文压缩#生成调优#RAG 效果诊断

面试题·RAG

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

匹配正文：…需材料。如果程序只按纵坐标从上到下排序，左右两栏同一高度的文字会轮流出现。最终片段可能是“事故发生后联系机构，身份证复印件，提交诊断证明，合同复印件”。从词面看，它和理赔高度相关。检索器甚至可能把它排在前面。但它把动作与材料的层次打乱，模型无法判断哪些是步骤、哪些是附件。更合理的处理是先识别栏位边界，在栏内恢复顺序，再依据标题和区域关系组织内容。遇到跨栏标题时，还要判断它是整页标题，还是只属于某一栏。同一行被拆成多个文字框时，可以根据水平距离、字体、基线和标点合并。上…

#RAG#解析与入库#复杂 PDF 阅读顺序

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…拆开？召回结果重复后，会占掉多少候选位和模型上下文？参数改变后，怎样证明收益来自切分，而不是其他模块同时变化？从工程链路看，RAG 可以拆为离线解析、在线召回、上下文生成和查询理解。切分位于离线阶段，但它会沿着整条链路向后影响：块太大，向量里同时包含多个主题，检索得分可能被噪声稀释；块太小，问题所需的前提、条件和结论可能落在不同块里；重叠太小，边界信息可能断开；重叠太大，多个近似块会挤进同一个 Top K。所以，这不是一个“字符串应该截多长”的问题，而是“证据怎样进入…

#RAG#切分与索引#Chunk Size

面试题·Agent· 字节

Agent 架构的取舍与适用条件

匹配正文：…票"需比价、查规则、下单）需多工具组合（搜索+计算+API调用）可接受2-5秒延迟不适合Agent：单轮问答、FAQ类（纯RAG或Prompt即可）延迟敏感（如实时客服首响<1s）容错率极低（医疗诊断等）字节实际案例参考：抖音电商客服中，简单退换货走固定Workflow，复杂纠纷升级Agent处理，兼顾效率与灵活性。学习建议建议先掌握大模型基础能力与RAG流程，再学习Agent的决策、规划、工具调用机制，结合实际案例对比端到端模型与Agent的优劣。

#字节#Agent#Agent 架构

面试题·文档处理· 字节

长文档 Chunking 怎么选?

匹配正文：…ding相似度判断断点主题内聚性强计算成本高、阈值难调概念密集的领域知识库专业领域特殊考量医学场景特点：术语长、症状-诊断-治疗链条长、表格多推荐：递归切块+语义边界混合，保留完整病例段落；表格单独处理或作为metadata 块大小：512-1024 tokens，过小会切断诊疗逻辑法律场景特点：条款引用多（"依据第X条"）、层级结构严格（编-章-节-条）推荐：结构化解析优先，按条款编号切分；添加父级标题作为上下文前缀特殊处理：法条引用关系需建图索引，不…

#字节#RAG Chunking#长文档切分

面试题·文档处理· 字节

医疗法律文档切块

匹配正文：…场景医疗/法律领域的实践要点 1. 优先保结构法律：以"条款→款→项"为最小单元，而非固定长度医疗：以"主诉-现病史-检查-诊断"等病历章节为边界 2. 元数据增强 chunk = { "content": "...", "source": "民法典第X条第X款", "parent_section": "合同编", "related_chunks": ["id_xxx", "id_yyy"] // 引用关系 } 3. 重叠策略（Overlap）比较零重叠、短窗口和较长…

#字节#医疗法律文档切块#医疗和法律文档怎么切块？结构、语义与引用边界

面试题·知识图谱· 字节

GraphRAG 怎么实现复杂查询?

匹配正文：…然语言描述或Cypher结果形式注入推理增强：显式利用关系路径进行多跳推理，而非单纯语义相似四、核心优势与应用价值场景传统RAG局限 GraphRAG解决方式因果推理分散在多篇文档，难以关联图谱路径显式建模因果链多实体关联查询向量相似度无法捕捉结构关系子图检索直接获取关联网络可解释性需求黑盒相似度推理路径可追溯、可验证典型应用：企业知识问答（组织架构穿透）、医疗诊断（症状-疾病-药品关联）、金融风控（股权穿透与关联交易识别）。学习建议建议先掌握…

#字节#知识图谱#GraphRAG 实现

面试题·知识图谱· 美团

GraphRAG 架构原理与优势

匹配正文：…区（Leiden算法多级分辨率）、查询自适应选择工程实践建议：非全量上GraphRAG，而是对高频复杂查询领域（如金融风控、医疗诊断）做专项图谱构建，简单查询仍走向量检索。学习建议建议先掌握传统RAG原理，再学习图结构与知识图谱基础，结合论文与开源项目理解GraphRAG的实现逻辑与应用场景。

#美团#知识图谱#GraphRAG 架构

面试题·RAG· 华为

逻辑引导怎么用？

匹配正文：…场景：思考→行动→观察的循环必须按序执行防止模型"幻觉"调用不存在的工具或跳过观察直接结论 3. 需要可解释输出的业务场景医疗诊断、金融风控等高风险决策，要求输出可追溯的推理链条实现方式举例方式一：结构化CoT Prompt prompt = """请按以下步骤回答： [分析] 提取题目关键条件 [建模] 建立数学关系或逻辑框架 [计算] 逐步执行运算，展示中间结果 [验证] 检查结果合理性 [结论] 给出最终答案题目：{question}""" 方式二：ReAct…

#华为#逻辑推理引导#逻辑引导

面试题·RAG· 字节

上下文错误时怎么保证输出准确?

匹配口述回答：…，同一个问题多次采样，取高频答案；如果结果很离散，就标记不确定。这有点像 [[Self-Consistency]] 的思路，但用在RAG里要控制采样次数，不然延迟太高。最后是系统层的持续迭代。用户反馈闭环肯定要做，点赞点踩数据回流到知识库修正队列。另外我会用 A/B 测试监控事实性错误率，对比不同检索策略的效果。但说句实话，这些策略都有代价，严格校验会增加延迟和成本，所以一定要按场景分级。比如客服闲聊可以宽松点，但医疗诊断、法律文书就必须多重校验。这里有个我特别想展开的点…

#字节#错误上下文处理#RAG 上下文错误

Multi-modal RAG 原理与挑战

截图界面怎么用 RAG 解析?

多模态 RAG 与传统 RAG 差异在哪?

Multi-modal RAG 是什么?

RAG 核心架构与工作流程

垂直领域 RAG 完整架构

RAG检索不准的失败场景与优化

领域 RAG 架构如何控幻觉?

RAG 指标权衡与阈值

RAG 架构怎么工作?

RAG Embedding 模型怎么选?

高精度RAG系统设计陷阱

RAG 召回又快又准靠什么?

RG 系统效果差怎么排查?

检索准但生成差，怎么调优？

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

Agent 架构的取舍与适用条件

长文档 Chunking 怎么选?

医疗法律文档切块

GraphRAG 怎么实现复杂查询?

GraphRAG 架构原理与优势

逻辑引导怎么用？

上下文错误时怎么保证输出准确?