搜索大模型内容

面试题RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…用不同资源，面对不同失败，追求的目标也不同。这就是 RAG 系统设计面试最常问的一类题：一个可上线的 RAG 系统应该怎样拆？离线入库、在线问答、数据存储、权限、降级和监控怎样形成闭环？只画“文档、向量库、大模型”三格图，通常接不住后续追问：一份文档只解析了一半，怎样恢复？用户权限应该在哪一层生效？向量服务或 Rerank 超时，系统怎样降级？线上答案错了，怎样定位证据在哪一步丢失？为什么离线入库和在线问答不能混在一起？离线入库追求的是完整、可恢复和可追踪。…

#RAG#评测与上线#RAG 系统设计

面试题RAG

RAG 检索效果差怎么排查？从 Query 到 Rerank 逐层定位

匹配正文：…可能是融合、重排或最后截断造成的。此时不要直接给整个链路贴上“检索差”的标签，而要为每一层定义一个可以判断通过或失败的输入输出。离线入库层的输入是原文，输出是带稳定 ID、来源位置和版本的可检索 Chunk。只要人工标注的正确原文无法在当前索引中按身份找到，这一层就没有通过。召回层的输入是实际 Query 与过滤条件，输出是两路候选；正确 Chunk 已在索引中却没有进入候选，才继续检查查询表达、Embedding、关键词字段和候选范围。融合与重排层不负责创造新证据。正确…

#RAG#生成与对话#RAG 检索优化

面试题RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

…果是多轮问题，还可能做话题判断和 Query 改写。第三步，计算 Query Embedding。文档 Embedding 应在离线入库阶段完成，在线阶段通常只计算用户问题。第四步，执行关键词召回和向量召回。两路之间没有结果依赖时，可以并行。第五步，融合候选并做 Rerank，然后按门槛和上下文预算截取证据。第六步，构建 Prompt，发送到模型服务。模型可能还要排队、加载上下文并完成预填充，之后才产生第一个 Token。第七步，通过流式协议把 Token 送到前端…