完整题目
请描述在RAG系统中将文本内容转化为向量表示的完整流程，包括编码模型选择、分块策略、嵌入优化等关键技术点。
答案要点
- 分块策略的设计原则与粒度控制
- Embedding模型的选型依据（中英双语、领域适配）
- 向量维度与归一化的影响
- 稠密向量与稀疏向量的混合方案
- 实际落地中的质量评估方法
完整流程概述
1. 文档预处理与分块策略
- 粒度选择：按语义段落、结构边界、固定长度滑动窗口和句子级别提出候选
- 关键参数：chunk_size与overlap都是候选变量，结合文档结构、模型输入限制和同一评测集上的召回、证据完整率与成本决定
- 边界优化：优先在标点、段落处切割，避免句子中途截断
2. Embedding模型选型
| 场景 | 推荐模型 | 特点 |
|---|---|---|
| 通用中文 | BGE-M3、GTE | 开源、效果稳定 |
| 中英混合 | E5-mistral、BGE-large | 跨语言对齐好 |
| 垂直领域 | 领域微调（如法律、医疗） | 术语理解更准确 |
选型核心：MTEB榜单参考 + 业务数据实测召回率
3. 嵌入生成与优化
- 批处理推理：GPU批量编码，避免单条推理开销
- 向量归一化：L2归一化后，余弦相似度等价于点积，加速检索
- 维度压缩：必要时用PCA或量化（如1024→256维），权衡精度与存储
4. 质量保障
- 离线评估：Top-K召回率、MRR指标
- 在线验证：人工抽检query-doc相关性，建立bad case闭环
换一种问法，检查是否真正理解
场景切入
假设你要做一个企业内部知识库问答机器人，用户上传了一堆PDF和Word文档。你打算怎么把这些文档转成向量存起来？从原始文本到向量，中间要经过哪些步骤？
层层追问
RAG系统里，文本怎么变成向量？……那文档很长怎么办，直接整篇编码吗？……分块的话，块大小怎么定？……选什么编码模型？中文场景有没有推荐的？……向量存进去之后，怎么保证检索质量？
直球架构
请你描述一下RAG系统中，将文本内容转化为向量表示的完整流程。包括分块策略、Embedding模型选型、向量维度与归一化、以及质量评估方法，每个环节的关键点是什么？
练习口述回答 · 约4分钟
- 一句话定位：RAG向量化本质是给文档做索引，关键在分块粒度、模型选型和落地权衡
- 分块策略：语义边界优先，overlap防断章取义，固定切分适合简单场景
- Embedding选型：通用模型打底，垂直领域微调，中英混合选对齐好的
- 优化与评估：归一化加速检索，离线召回率+在线人工抽检
- 边界与风险：分块太碎丢上下文，模型不对口召回崩，上线前必须回放测试
这道题问的是[[RAG]]里文本怎么转成向量，其实核心就是给文档做索引，让检索又快又准。我一般会从[[分块]]策略、模型选型、[[嵌入]]优化和落地评估这几个环节来讲，重点是怎么在效果和工程成本之间做取舍。
先说分块。分块的粒度直接影响检索质量。我倾向按语义段落切，优先在标点、换行这些自然边界断，保证一个块是一个完整意思。如果文档结构清晰，比如企业SOP，就按章节切；如果是纯文本，我会把[[滑动窗口]]的chunk_size和overlap设为候选变量，结合文档结构、模型输入限制和同一评测集验证是否避免句子被拦腰切断。这里有个坑：分块太碎容易丢失上下文，比如退款政策里一句“超过30天不处理”单独拿出来可能歧义；分块太大又会让检索噪声变多。所以实际落地我经常混合策略：小块做检索，同时保留[[父文档]]信息，召回后把整段上下文喂给模型。
然后是Embedding模型选型。通用中文场景我会首选开源模型比如BGE或GTE，MTEB榜单可以参考，但最终还是要拿业务数据实测召回率。如果是中英混合的文档，比如外企的订单和客服记录，我会选E5或者BGE-large这种跨语言对齐好的模型。垂直领域，比如法律合同或医疗病历，通用模型对术语理解不够，最好用领域数据微调一下。选型有个前提：模型要对口业务场景，如果文档全是中文但模型偏英文，召回率直接崩。
嵌入生成时我会做几个优化。先说批量推理，用GPU一次编码一批文档，比逐条快很多。再一个是向量归一化，L2归一化后点积等价于余弦相似度，检索库用内积索引就行，加速明显。还有就是维度压缩，如果向量维度太高，比如1024维，存储和检索压力大，我会用PCA降到256维，精度损失能接受但速度翻倍。当然压缩前要测Recall@K，确保不跌太多。
质量保障是上线前的关键。离线我会算Top-K召回率和MRR，用一批标注好的query-doc对来评估。在线我会抽检人工看召回的相关性，建立bad case闭环。特别要注意的是，RAG不是向量化就完事了，如果检索结果质量差，生成必然跑偏。所以上线前我会用历史query回放，对比新旧流程的召回率和延迟，通过才切换，不通过就回滚。
最后说边界。分块和模型选型没有银弹，固定切分适合日志、代码这种结构简单的，语义切分适合新闻、报告；稠密向量适合语义匹配，稀疏向量比如[[BM25]]适合关键词精确匹配，真正落地常常两者混合。我倾向用[[混合检索]]，把两条路的结果合并再[[重排]]，这样既能抓住语义也能兜底精确匹配。