跳到主内容
第 7 章:Query 理解与改写 · AlgoMooc
✓ 学会多轮对话里的指代消解:把"它/这个"补全成能独立检索的问题
✓ 会写 LLM 意图识别的 prompt 模板,并知道 300-500 个意图怎么处理
本章按三段式组织,不同基础的读者各取所需:
段落 给谁看 内容 占比 🚀 Part 1 · 主线实战 零基础,想先跑起来 概念白话 + 重写/扩写 demo ~45% 🎯 Part 2 · 面试深度 想讲透、备战面试 意图识别 + 重写/扩写 + HYDE + 多轮 ~45% 🏆 Part 3 · 验收串题 检验学到位没 关联面试题 + 自检清单 ~10%
🚀 Part 1 · 主线实战 | ~45%
这部分零基础也能跟着做。先用一段不依赖任何库的代码,看到"改一改问题"对检索有多大影响。
在开始之前
✅ 装好 Python(3.9+),能看懂基础 Python(字典、函数)
✅ 本章 demo 零依赖 ,直接跑
✅ 最好先读过第 5、6 章,那两章讲怎么"检索 + 排序",这章讲检索之前 先把问题改好
先看一个 Query 失败演练(这是本章的"为什么")
下面用合成问题演示 Query 理解的必要性,不是作者或学员的线上项目记录。即使切分、检索和重排已经可用,输入问题本身仍可能残缺或跑偏:
有人问 "那它过了还能退吗?" :"它"指上一轮聊的某款产品,"过了"指过了犹豫期。这句话单独拿去检索,知识库根本不知道"它"是谁,直接抓瞎。
有人打字飞快:"请问下保险费用咋报销呀?" :口语词加错别字,和知识库里"保险费用报销流程"这种规范标题字面对不上,一条都召回不到。
这些问题,检索和排序再强也可能救不了 ,因为送进去的 query 本身就是残缺或跑偏的。可以增加"先读懂、再改写"的处理:指代消解 + 重写 + 扩写,并用标注查询集分别测量改写前后的召回、延迟和误改率。
一句话:输入 query 的质量会限制检索,但不是按下回车后就无法补救;原始 query、改写、扩写、对话上下文和反馈都可以形成候选。是否启用某一步,要看它能否改善目标查询集且不引入不可接受的误改与延迟。
这一章,我们就先用一段零依赖代码,亲手看"改一改问题"对召回有多大影响。
3 个核心概念(先白话,再术语)
概念 1:什么是"Query 理解"? 用户问题可能口语化、有错别字或带"它/这个"等指代。Query 理解可以在检索前后提供意图、改写、扩写或指代消解信号;简单且清晰的问题也可以直接检索,避免无必要的模型调用和误改。
概念 2:什么是 Query 重写? 把口语化或依赖上下文的问题改成更适合当前检索器的表达。 比如把"请问怎么报销保险费用呢?"改成"保险费用报销流程"。改写可能改善命中,也可能丢失限定条件;应保留原始 query 并测量召回、精度与误改率。
概念 3:什么是 Query 扩写? 给问题加上同义词、相关词,变成好几个查询一起去检索。 比如"保险理赔"扩成"理赔 / 索赔 / 理赔流程"。目的是提高召回率 :哪怕文档里写的是"索赔",也能召回。
一句话记住:重写求"准"(改成一句更好的),扩写求"全"(变成好几句一起查)。
🛠️ 跟着做:看"改问题"怎么救回检索
Step 1:写重写 + 扩写 docs = ["保险理赔流程" , "保险索赔所需材料" , "保险产品销售技巧" ]
SYNONYMS = {"理赔" : ["理赔" , "索赔" ]}
FILLER = ["请问" , "怎么" , "一下" , "呢" , "啊" , "?" , "?" ]
def rewrite (q ):
for f in FILLER:
q = q.replace(f, "" )
return q.strip()
def expand (q ):
out = {q}
for word, syns in SYNONYMS.items():
if word in q:
out.update(q.replace(word, s) for s in syns)
return sorted (out)
def search (queries ):
return [d for d in docs if any (q in d for q in queries)]
Step 2:运行 python query_rewrite_expand.py① 原始 query: '请问保险理赔呢?' → 命中: []
② 重写后(去口语): '保险理赔' → 命中: ['保险理赔流程' ]
③ 扩写后(加同义词): ['保险理赔' , '保险索赔' ] → 命中: ['保险理赔流程' , '保险索赔所需材料' ]
🐛 跑不通看这里
三行命中全是 []?检查 docs 里的标题有没有改动,这个 demo 靠"字符串包含"判命中,标题改了就对不上了。
① 也命中了东西?多半是你改了 FILLER 或原始 query,让口语词恰好和某个标题字面对上了。
KeyError/缩进报错?确认 SYNONYMS、FILLER、三个函数都按顺序粘进同一个文件,且函数体缩进一致。
Step 3:看懂这三行
原始问题一条都没命中 ,因为"请问……呢?"这些口语词,知识库里的标题根本没有,字面对不上;
重写 去掉口语词后,"保险理赔"命中了「保险理赔流程」;
扩写 把"理赔"扩出"索赔",又把用"索赔"表述的「索赔材料」也召回了。
🎉 你亲眼看到了:同一个问题,改一改,召回结果完全不同。 检索做得再好,送进去的 query 不对,也是白搭,这就是 Query 理解的价值。
Step 4:🛠️ 动手实验,给同义词表加一条 SYNONYMS = {"理赔" : ["理赔" , "索赔" ], "保险" : ["保险" , "保单" ]}你会发现扩写出来的查询更多了。这是同义词/术语词典的一种用法,但词典更大不保证召回一定更好:歧义扩写可能增加无关候选,查询数增加也会带来额外合并和计算工作。亲手加一条后,要同时观察新增相关结果、重复项和噪音。
🧭 你刚才做的,等于真实系统的什么?
你的 rewrite()(去口语词) = 一种规则式 Query 重写 ;真实系统还可比较术语词典、专用模型或 LLM,哪种更好要由误改率、召回和延迟决定;
你的 expand()(同义词表) = Query 扩写 ,真实系统的词典来自业务术语库,还会用模型动态扩;
你这整段"先改 query 再 search" = 在线链路里检索之前 的 Query 理解模块 ,坐在用户和第 5、6 章的检索/排序前面 。
你手搓的是它最朴素的样子;Part 2 讲它在真实系统里还会加上意图识别、HYDE、多轮指代消解。
这一节你掌握了什么?
✅ Query 理解是什么、为什么要在检索前先做
✅ 重写(求准)和扩写(求全)的区别,以及它们各自怎么救回检索
🎯 Part 2 · 面试深度 | ~45%
这部分讲透意图识别的三条路线、重写/扩写的手段、HYDE,以及多轮里的指代消解。
2.1 意图识别:先搞清用户"想干啥" 同样一句话,意图不同,该走的检索/回答策略也不同(问"报销流程"该查制度文档,问"怎么提升业绩"该查培训资料)。判断意图有三条路线:
规则 / 关键词 :列好每类意图的关键词,命中就归类。简单可控,但换种说法就漏、要人工维护。
监督分类模型 :用标注数据训练 BERT 等分类器;是否比规则更能处理同义表达取决于标签质量、覆盖和分布漂移,并且需要训练与持续评估。
LLM Prompt :把意图选项写进 prompt 让大模型判断,零样本就能用,但有成本、延迟,需控偏差。
工程选择 :规则、监督分类器和 LLM 可以单独或组合使用。冷启动可比较规则与 LLM 基线,积累经授权的真实 query 和标注后再判断是否训练专用分类器;"LLM 先上、BERT 接管"不是固定路线。按意图数量、开放集比例、标注、隐私、延迟、成本和漂移监控选型。
用 LLM 做意图识别,prompt 模板怎样便于校验? 这是面试高频追问,重点是收窄候选并让输出可解析:
枚举候选 :把所有意图类别明明白白列进 prompt,让模型"做选择题"而不是"做问答题";
强制输出格式 :要求"只输出编号"或输出 JSON,否则模型爱加一堆解释,后处理是噩梦;
few-shot 示例 :提供有代表性的"问题 → 类别"范例,可能帮助模型理解边界;示例也可能造成顺序偏差或覆盖不足,需要用混淆矩阵和开放集样本验证;
留一个"其他/兜底"类 :避免模型硬把不相关问题塞进某一类。
工程提示 :枚举、格式约束和 few-shot 能降低解析难度,但模型仍可能返回越界类别或损坏 JSON。服务端必须做 schema/枚举校验,失败时重试、回退或转入"其他",并分别评估格式有效率与分类准确率。
2.2 Query 重写 vs Query 扩写
重写 (求准):去口头词、纠错别字、把口语转成术语,改成一句更贴近知识库的话。
扩写 (求全):加同义词("理赔/索赔")、相关词("理赔→流程/材料"),变成多个查询一起检索,再合并结果。
工程提示 :扩写会增加检索请求和候选合并工作,但端到端延迟与成本是否同比增长取决于并行、批处理、缓存和后端计费。应按查询类型设置上限并监控重复率与边际召回。同理,重写要保留原始 query 或可回退路径,避免把限定条件改丢。
2.3 HyDE:生成假设文档再检索 当原始 query 与文档写法差异较大时,可以评估 HyDE(Hypothetical Document Embeddings):
先让 LLM 根据问题生成一段假设文档,再用文档编码器把它向量化并检索真实语料。 原论文的假设是生成文本能带出相关性模式,而编码器的稠密瓶颈会过滤部分错误细节;这是特定模型和数据上的实证方法,不保证每个领域或查询都提升。
工程边界 :HyDE 允许假设文档包含不真实细节,但这不等于错误永远无害;错误实体、时间或领域术语可能把向量带到错误邻域。应同时保留原始 query 基线,在标注集上比较召回与失败类型,并把假设文档严格限制为检索中间产物,不能当作最终事实来源。
2.4 多轮对话:把"它/这个"补全 多轮场景里,用户爱用指代:"那它 过了还能退吗?" 直接拿这句去检索,知识库不知道"它"是啥。所以要先做指代消解 :结合对话历史,把问题补全成一句能独立理解的话:
业内行话 :指代消解本质也是一种 Query 重写,只是"补全信息"的来源是对话历史 。实务里常用一个小模型或 LLM,输入"历史 + 当前问",输出一句"自包含的问题"再送检索。(更完整的多轮对话管理,如历史压缩、话题漂移,是第 8 章的主题。)
2.5 意图太多怎么办:300-500 个意图的两种方案 小项目意图就十来个,直接列进 prompt 就行。但大型客服系统动辄几百个细分意图 ,全塞进一个 prompt,又长又贵,模型还容易在几百个选项里选花眼。两种成熟解法:
检索式意图识别 :把意图描述和示例建成检索集合,先召回候选意图,再用分类器或 LLM 判定。候选数不能固定照搬 top-10,要用候选召回率、开放集拒识率、延迟和最终分类指标调节;第一阶段漏掉正确意图时,第二阶段无法补回。
两级分类 :先粗分到大类,再在大类内细分,可以缩小每级候选和计算量;代价是维护层级与处理跨类意图,粗分类错误还会向下级联。是否更快、更准需要和扁平分类、检索式方案用同一测试集比较。
业内行话 :这道题(几百个意图怎么做)是高阶面试题,很多人会卡在"prompt 塞不下"就答不下去 。能说出"把意图当文档去检索、先召回再判断",把前面学的检索能力迁移过来:立刻显出体系化的工程思维,而不是只会堆 prompt。
🏆 Part 3 · 验收串题 | ~10%
学到这一步,做几道题验证一下,知道自己学到位没。
关联面试题(5 道,覆盖 5 个角度)
【意图识别作用】 RAG 系统中意图识别模块承担什么关键作用?
【意图识别实现】 RAG 系统的意图识别模块是如何实现的?
【Query 改写方法】 Query 改写技术有哪些常见的创新方法(同义扩展、语义重写等)?
【意图 Prompt 模板】 大模型意图识别任务里,如何设计有效的 prompt 模板?
【大规模意图】 需要处理 300–500 个意图时,如何克服上下文限制做有效召回?
学完这一章你应该能干嘛
4 项以下 → 回去 Part 1 重做;4–5 项 → Part 2 再看一遍;6 项以上 → 进入下一章。
完整代码 + 数据集 本书每章的完整可运行代码 + 测试样本,都在配套 GitHub 仓库:
·
多模态
· 哔哩哔哩
RAG意图识别原理与检索协同