面试题 · 评估
大模型如何应用于搜索检索场景？请描述具体的技术方案、优势以及面临的挑战。
大模型在搜索场景的核心落地形态是 RAG（检索增强生成），不是替代传统检索，而是分层增强。
| 层级 | 功能 | 大模型作用 |
|---|
按学习路线查看教程、项目和面试题。
| 查询理解层 | 意图识别、查询改写、多轮澄清 | 纠错、扩展、消歧（如"苹果"→水果/公司） |
| 检索召回层 | 向量检索 + 稀疏检索（BM25）+ 知识图谱 | 生成稠密向量（bi-encoder） |
| 精排/重排层 | 结果重排序、去重、过滤 | Cross-encoder 打分、多任务融合 |
| 生成输出层 | 答案摘要、直接回答、多源整合 | 生成式摘要、引用溯源 |
| 挑战 | 应对方案 |
|---|---|
| 生成幻觉 | 严格约束生成范围（检索片段为上下文）、引用校验 |
| 延迟过高 | 流式生成、模型蒸馏、检索结果预加载 |
| 成本敏感 | 大小模型级联（小模型过滤→大模型精修） |
| 数据实时性 | 增量索引更新 + 时效性信号注入prompt |
电商搜索需重点解决：商品属性理解（规格、口碑）、多语言混合（东南亚市场）、促销信息实时性，通常会在RAG基础上叠加商品知识图谱和实时价格库存接口。
场景切入
我看你做过电商搜索。假设用户搜‘耐克运动鞋’，然后又说‘要白色的’，传统搜索可能直接返回白色耐克鞋，但大模型可以理解这是同一个意图的细化。你觉得大模型具体怎么在搜索里发挥作用？从查询改写到结果生成都聊聊。
层层追问
大模型在搜索里怎么用？……不是替代传统搜索吧？那具体怎么结合呢？……你说到RAG，那检索回来之后大模型怎么处理？……如果用户问‘2024年性价比高的手机’，但语料里只有2023年的数据，你怎么保证时效性？
直球架构
设计一个基于大模型的搜索系统，包含查询理解、检索、排序、生成四个阶段，每个阶段大模型怎么介入？混合检索怎么实现？另外，怎么解决延迟和幻觉问题？给出具体技术方案和关键设计点。
这道题其实是在问，大模型怎么在搜索这种高实时、高精度的场景里落地，而不是简单替代传统搜索。我觉得核心是 [[RAG]] 这个架构，它把检索和生成串起来，但真正上线的时候，不是一股脑全上大模型，而是分层处理。
先说查询理解。用户搜「苹果」，可能是水果也可能是手机，大模型能根据上下文做消歧，这是传统关键词做不到的。但你不能把所有 query 都扔给大模型，成本太高。所以我会区分简单 query 和复杂 query，简单走 [[BM25]] 或者 [[稀疏检索]]，复杂才走大模型改写和扩展，这叫查询路由。
再讲检索召回。这里有个经典误区：有人以为向量检索能完全替代关键词。实际上，**[[混合检索]]**才是更靠谱的做法。向量抓语义，关键词抓精确匹配，比如搜订单号「ORD123」，向量检索根本没用，必须靠 BM25。再叠一个[[知识图谱]]，比如商品品牌和类别的关系，召回率能提升不少。
生成输出这步，大模型负责把检索结果整合成一段自然语言答案，附带引用溯源。但这里有个大坑：[[幻觉]]。模型可能会编造信息，所以必须约束生成范围，只允许用检索到的片段做上下文，不能自由发挥。我还会加一个 [[Faithfulness]] 校验，如果生成内容跟检索片段矛盾，就降级成片段展示。
举个例子，电商搜索里用户问「这个手机支持双卡双待吗」，传统搜索只能匹配到商品详情页里的「双卡双待」关键词，但大模型可以理解「双卡」和「双待」是同个意思，还能结合用户评论里的「插了两张卡都能用」这种非结构化描述，给出更准确的答案。这在东南亚多语言场景尤其重要，用户可能中英混合提问，大模型能统一处理。
落地风险主要有三个。一是延迟，大模型推理慢，我会用流式生成加模型[[蒸馏]]，高频 query 的结果缓存起来。二是成本，大模型贵，我倾向用大小模型级联，小模型先过滤掉简单 query，大模型只处理高价值复杂 query。三是数据实时性，比如促销信息，必须能增量更新索引，不能每次全量重建。
另外，我特别关注检索质量怎么量化。光靠 Recall 不够，我会用 [[RAGAS]] 框架里的忠实度和答案相关性指标，再结合用户点击反馈做线上评估。如果面试官有兴趣，我们可以聊聊怎么在离线阶段模拟线上分布，避免评估偏差。
所以我对大模型在搜索里的定位是：它不是替代传统搜索，而是补充传统搜索做不到的语义理解和多跳推理。我更倾向先做好查询路由和混合检索，再逐步引入生成，这样风险可控，效果也扎实。