完整题目
在构建RAG系统时，如何对文本进行分块并生成向量化表示，进而利用向量数据库建立高效索引以支持精准检索？请详细说明从文本预处理、嵌入模型选择、向量存储到索引优化的关键技术流程及常用工具（如Sentence-BERT、FAISS、Pinecone等）。
本文目录
先建立可复现的检索任务
从真实查询、允许返回的文档范围和相关性标注开始。样本至少覆盖精确编号、数字、同义改写、长问题、无答案、新旧版本和权限过滤。分块、嵌入和索引都用同一冻结查询集比较 Recall@K、MRR/nDCG、答案证据支持、无权限结果率、P95/P99 延迟、内存与成本。
分块与版本
- 优先保留标题、段落、表格、代码和列表等文档结构，再把固定长度或滑动窗口作为候选；
- chunk size、overlap 和是否带父级上下文由目标模型的实际 tokenizer、输入限制和评测结果决定；
- 每个块保留文档 ID、版本、章节路径、字符/页码范围、更新时间、ACL 与内容哈希；
- 修改和删除必须传播到索引。查询日志记录索引版本，避免新旧块同时命中或已删除内容继续被检索。
分块不是单独决定检索上限的唯一因素；解析质量、嵌入模型、查询分布、过滤、索引参数和重排都会改变结果。
嵌入模型怎么选
不要按“中文/通用”直接绑定一个固定模型。先确认语言、领域、许可证、托管边界、最大输入、向量维度、归一化与查询/文档编码约定，再在目标数据盲测。只有模型文档明确要求时才加入 query/document 前缀。
降维、量化、蒸馏和领域微调都会改变精度与维护成本。384 维够用、PCA 压到 128 损失很小都不是通用结论；应在同一索引参数和硬件下报告效果、内存、构建时间与尾延迟。