跳到主内容第 1 章:为什么做 RAG? · AlgoMooc做 RAG,模型反而是最不用操心的部分
本章按三段式组织,不同基础的读者各取所需:
| 段落 | 给谁看 | 内容 | 占比 |
|---|
| 🚀 Part 1 · 主线实战 | 零基础,想先跑起来 | 概念白话 + 20 行迷你 RAG | ~50% |
| 🎯 Part 2 · 面试深度 | 想讲透、备战面试 | 三硬伤 + 两链路 + 选型 + 私货 | ~40% |
| 🏆 Part 3 · 验收串题 | 检验学到位没 | 关联面试题 + 自检清单 | ~10% |
🚀 Part 1 · 主线实战 | ~50%
这部分零基础也能跟着做。不用 API key、不用装库,20 行代码就能让你亲眼看到 RAG 到底改变了什么。
在开始之前
- ✅ 装好 Python(3.9+)
- ✅ 能看懂基础 Python(字典、函数、for 循环)
- ✅ 就这些:本章的 demo 不需要联网、不需要 API key、不需要装任何库
先看一个教学场景(这是本章的"为什么")
下面是为了讲清问题而构造的教学场景,不是作者或学员的客户经历。假设要做一套保险资料问答系统,资料里既有产品条款 PDF,也有培训 PPT、内部制度 Word 和录播视频字幕。
如果第一版直接把"这款产品的现金价值怎么算"丢给通用大模型,模型可能给出一套读起来很专业、但在资料里找不到依据的公式。
这正是大模型最危险的地方之一:没有依据时,它仍可能生成流畅而笃定的答案。 在事实问答里,这样的输出必须被检索、引用和拒答机制约束。
这件事用一张图就能说清:直接问模型是"闭卷考试",上了 RAG 是"开卷考试"。
3 个核心概念(先白话,再术语)
概念 1:什么是"幻觉"?
幻觉(hallucination),就是模型不知道答案时,不说"我不知道",而是一本正经地编一个。
它不是故意撒谎,而是大模型的工作方式决定的,它本质是在"预测下一个最像样的词",所以哪怕没有依据,也能拼出一段读起来很专业的话。开篇那个编出来的现金价值公式,就是典型幻觉。
概念 2:什么是 RAG?
RAG(Retrieval-Augmented Generation,检索增强生成),拆开就三件事:
- 检索(Retrieval):拿用户的问题,去你的知识库里查出相关的几段资料;
- 增强(Augmented):把查到的资料,拼到问题前面一起交给模型,相当于给它"开了卷";
- 生成(Generation):模型照着这几段资料组织出答案,而不是凭脑子里的记忆硬答。
说白了:别让模型凭记忆答题,先去知识库里"查资料",把查到的真实内容塞进去,再让它照着资料回答。
一个比喻记一辈子:RAG 就是把模型从"闭卷考试"改成"开卷考试"。模型还是那个模型,但答题时手里多了一本随时能更新、且属于你自己的参考书。
概念 3:什么是"上下文(context)"?
上下文,就是你这一次塞给模型、让它参考的那段文字。
模型一次能读的上下文有长度上限(就像一口能吃的饭量),这个"量"用 token来计。token 是由具体模型的 tokenizer 切出的字符片段,不能固定换算成汉字或单词;估算窗口和成本时,应使用目标模型的 tokenizer 实测。RAG 的关键动作,就是"检索出最相关的几段资料,拼进上下文",而不是把整个知识库一股脑塞进去。后面整本书很多功夫,都花在"怎么让塞进上下文的那几段,又准又全"。
🛠️ 跟着做:20 行代码,看懂 RAG 的核心机制
不用 API key,我们先用一个"迷你 RAG"把机制跑通。
Step 1:新建文件
knowledge = {
"犹豫期": "本产品犹豫期为 15 天,自您签收合同的次日 0 时起算。",
"现金价值": "现金价值 = 累计已交保费 − 各项费用 − 风险保费,具体见合同附表。",
"等待期": "本产品等待期为 90 天,等待期内出险不予赔付。",
}
def retrieve(question):
"""检索:从知识库里找出和问题相关的那条资料。
最朴素的"检索":哪个关键词出现在问题里,就返回它对应的知识。
真实系统会换成"向量检索":把问题和知识都转成向量,按"意思相近"找(第 4 章)。
"""
for key, text in knowledge.items():
if key in question:
return text
return None
def answer(question):
"""回答:先检索,再决定"照着资料答"还是"没依据"。"""
context = retrieve(question)
if context is None:
return "【没检索到资料】若仍让模型作答,就容易失去依据并产生幻觉——这正是应当拒答或降级的场景"
return f"【检索到资料,照着答】依据:{context}"
for q in ["犹豫期是多少天?", "现金价值怎么算?", "高原反应保不保?"]:
print(q, "->", answer(q))
Step 2:运行
犹豫期是多少天? -> 【检索到资料,照着答】依据:本产品犹豫期为 15 天……
现金价值怎么算? -> 【检索到资料,照着答】依据:现金价值 = 累计已交保费……
高原反应保不保? -> 【没检索到资料】若仍让模型作答,就容易失去依据并产生幻觉——这正是应当拒答或降级的场景
- 报
SyntaxError / IndentationError → Python 对缩进敏感,检查函数体是不是统一 4 空格缩进;
- 中文显示成乱码 → 终端编码问题,不影响逻辑,换个支持 UTF-8 的终端即可。
🐛 跑不通?看这里
报错 IndentationError: unexpected indent
- 复制时缩进乱了:
knowledge、两个函数、for 循环都要顶格,函数体内统一缩进 4 个空格。
报错 NameError: name 'answer' is not defined
- 三段(knowledge / 两个函数 / for 循环)要放在同一个文件里,顺序从上到下。
- 你的
knowledge 字典的键(犹豫期/现金价值/等待期)没和问题里的词对上:检查有没有打错字。
Step 3:读懂这三行输出
- 前两个问题,知识库里有对应资料 → 被
retrieve 找到 → 模型"照着答",这就是开卷;
- 第三个问题"高原反应保不保",知识库里没有 → 检索为空 → 若仍让模型作答,答案就缺少私域依据,这会显著增加幻觉风险。
🎉 你刚跑通的,就是 RAG 最核心的一条流水线:检索 → 把资料塞进上下文 → 基于资料回答。真实系统只是把"关键词匹配"换成了更聪明的"向量检索"(把文字变成一串数字向量,靠"语义相近"而不是"字一样"来找),把"一条字典"换成了"几千份文档切成的块",但骨架就是这个。
🛠️ 动手实验:给知识库加一条,看结果怎么变
往 knowledge 字典里加一条"高原反应":
knowledge = {
"犹豫期": "本产品犹豫期为 15 天,自您签收合同的次日 0 时起算。",
"现金价值": "现金价值 = 累计已交保费 − 各项费用 − 风险保费,具体见合同附表。",
"等待期": "本产品等待期为 90 天,等待期内出险不予赔付。",
"高原反应": "本产品为意外险,高原反应属于高原疾病,不在意外伤害保障范围内。",
}
再跑一次。观察:"高原反应保不保"这道题,从原来的"【没检索到资料】瞎猜",变成了"【检索到资料,照着答】"。
同一个程序、同一个问题,只因为知识库里多了一条,答案就从"瞎猜"变成"有据可答"。 这一步你亲手验证了 RAG 的铁律:答案质量的上限,由你知识库的质量决定。库里有可靠资料、检索命中且生成受约束,模型才有可能有据作答;库里没有或检索失败时,系统就应拒答或降级。
这一节你掌握了什么?
- ✅ 幻觉是什么、为什么会发生
- ✅ RAG 是什么(检索→增强→生成,开卷考试)
- ✅ 跑通了一个零依赖的迷你 RAG,看懂了"检索→塞上下文→回答"
- ✅ 亲手验证了"知识库决定答案上限"
- 你那个
knowledge 字典 = 工程系统里的知识库(通常会换成一批经过解析、切分并写入索引的文档块);
- 你写的
retrieve = 真实系统的检索模块(把"关键词匹配"换成"向量检索 + BM25",第 4、5 章);
- 你写的
answer 里"把 context 当依据" = 真实系统的上下文拼接 + 生成(换成 Prompt 工程 + 真·大模型,第 9 章)。
换句话说:你这 20 行代码演示的是 RAG 的最小逻辑骨架;后面 9 章会逐步补上解析、切分、索引、评估和引用等工程环节。它不是生产系统,但能帮助你理解生产系统为什么需要这些模块。
下面 Part 2,我们把这条流水线展开成真实系统的样子,并回答一个关键问题:为什么这套系统里,大模型反而是最省心的部分?
🎯 Part 2 · 面试深度 | ~40%
这部分讲清三个硬伤、两条链路,以及一个反直觉但极其重要的认知。学完你能把"为什么做 RAG"讲到面试官点头。
2.1 大模型的三个硬伤
直接问大模型一个它没"复习"过的问题,会撞上三堵墙:
- 幻觉:不知道也照样流畅地编,语气还特别笃定(就是开篇那个现金价值公式);
- 知识时效:训练数据有截止日期,之后更新的条款、费率、产品它一律不知道;
- 私域盲区:你公司的保单、理赔指南、内部资料,它压根没见过(就是 Step 3 里"高原反应"那条)。
RAG 用"开卷"一次性补上这三个洞:检索回来的资料可以是按建库或增量同步节奏更新的、私域的、可关联出处的;新鲜度取决于数据接入与索引更新是否及时。
2.2 RAG 的两条链路:离线建库 + 在线问答
把 Part 1 那条迷你流水线展开成真实系统,就是两条链路。理解这张图,你就理解了本书的章节为什么这么排:
- 离线建库:把各种格式的文档解析、切分,按检索方案建立向量、倒排或其他索引,存进知识库。只跑一次或定期更新,用户感知不到。
- 在线问答:用户每次提问,把问题向量化、检索、重排,把最相关的几段拼成上下文交给模型生成。每次提问都要实时跑完。
- 两条链路靠知识库与检索索引这个交汇点连起来,这正是 Part 1 里
retrieve() 那一步的"真实版"。
注意一个常被忽略的细节:连录播视频都要进知识库,先用语音识别(ASR)转成字幕文本再切段入库。RAG 的"知识"远不止 PDF。
2.3 一个反直觉的事实:模型是这套系统里最省心的部分
新人常以为做 RAG 的难点在"调模型"。把系统按完整链路拆开后会发现,大量工作都在"怎样把资料变成可检索的证据"上。继续沿用上面的保险教学场景,可以重点演练三类问题:
- 用户问"如何推销保险产品",检索却空了,因为文档里写的是"如何销售保险产品"。"推销"和"销售"是同义词,但关键词检索认死理,字不一样就是不匹配。
- 问"保单的现金价值怎么算",检索也找不准,因为通用向量模型没见过"现金价值""退保费"这类保险黑话,在向量空间里把它们放错了位置。
- 同一个问题问法五花八门:"报销制度是什么"是流程型问题(答案在规章制度里);"怎么提升业绩"是思考型问题(答案零散在培训材料里)。一套检索策略很难同时伺候好两类。
工程提示:Garbage in, garbage out。 RAG 的质量不只由模型决定,还取决于解析、切分、检索、重排和评估。不同项目的工时占比没有统一答案,正文不使用无法核验的固定百分比。你以为在学 RAG,其实也在学:怎么把一座杂乱的文档山,整理成模型能查到并引用的参考书。
2.4 什么场景该上 RAG?(以及什么时候别上)
金融保险几乎是 RAG 的天选场景,因为它同时满足四个条件:
- 错一个字都不行:答错条款可能引发理赔纠纷,模型必须基于真实条款回答;
- 必须可溯源:答案要能指回"依据是第 3 条第 2 款",用户和合规都要看出处,RAG 可以为溯源提供证据,但还必须保存来源元数据、把回答映射到证据并校验引用;
- 知识频繁更新:产品、费率、条款一直变,微调跟不上,RAG 只需更新知识库;
- 私域文档为主:保单、理赔指南、内部资料,通用模型完全没见过。
反过来,如果你的需求是"写一首关于春天的诗":纯创作、无需事实依据、也不要求溯源,那 RAG 不仅帮不上忙,反而是多余负担。
| 方案 | 解决什么 | 什么时候用 |
|---|
| RAG | 外部/私域/会变 + 要溯源的知识 | 知识会变、量大、要出处 |
| 微调 | 模型的风格/格式/领域语感 | 想改说话方式、固定输出格式 |
| 长上下文直接塞 | 一次性、少量文档 | 文档就三五篇,塞得下 |
业内行话:"我该不该上 RAG"其实常常是个伪问题,真问题是"我的知识库值不值得、能不能建好"。 三者也常叠着用:RAG 负责把外部证据带进上下文,微调可调整行为、格式或领域适配;例如保险客服可用 RAG 检索当前条款来提高可核验性,再用微调或提示统一话术口吻。两者都不能单独保证答案正确。
2.5 一个必须戳破的误区:RAG ≠ 零幻觉
很多人以为"上了 RAG 模型就不会胡说了"。不对。 RAG 能减少一部分因缺少外部依据造成的错误,但不会消灭幻觉;检索错误、证据过时、上下文冲突和生成不忠实都可能继续产生错误。
想想 Part 1 那个迷你 RAG:如果 retrieve 召回的是一条不相关甚至相反的资料(比如把"免责条款"当成"承保条款"召回了),模型照样会"照着错资料"答出一个错答案,而且因为"有依据"显得更可信。这正是第 3 章核辐射失败演练要说明的:检索给出残缺或错误证据,生成阶段会继续放大。
业内行话:面试聊到"RAG 怎么防幻觉",别只说"加了 RAG 就没幻觉了",那会暴露你没真做过。说到点子上的是两层:① 检索层:召回得准,这是根(本书 3–6 章都在干这个);② 生成层,在 Prompt 里硬约束"只依据给定资料作答、资料里没有就说不知道",再对输出做一遍校验(第 9 章)。两层都做,才是真正的"防幻觉"。
🏆 Part 3 · 验收串题 | ~10%
学到这一步,做几道题验证一下,知道自己学到位没。
关联面试题(5 道,覆盖 5 个角度)
- 【概念基础】 请解释 RAG 的基本概念与工作原理。
- 【业务价值/治幻觉】 RAG 如何提升大模型的事实准确性和知识覆盖?
- 【与替代方案对比】 系统比较 RAG 与传统"先检索后生成"流水线的差异。
- 【工程组件初探】 RAG 的技术原理、核心组件、工作流程及实际应用中的优势与挑战。
- 【数据漂移场景】 线上数据分布快速变化时,如何用外挂数据库结合大模型提升响应准确性?
学完这一章你应该能干嘛
2 项以下 → 回去重做;3 项 → 再看一遍 Part 2;4 项全会 → 进入下一章。
完整代码 + 数据集
本书每章的完整可运行代码 + 测试样本,都在配套 GitHub 仓库:
·
RAG
· 淘天
RAG vs 传统检索生成怎么选?