页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「chunking 策略」找到 31 条内容
按专题浏览 →匹配正文：答案要点 离线知识库构建（文档解析、分块、向量化） 检索阶段的双路召回策略（向量+关键词） 重排序优化 上下文拼接与提示模板设计 生成阶段的引用溯源与幻觉控制 RAG完整工作流程 一、离线知识库构建（预处理） 文档解析：处理PDF/Word/网页等多格式，提取结构化文本 知识分块（Chunking）：按语义/固定长度/递归分割，通常512-1024 token，块间保留重叠防止断句 向量化：用Embedding模型（如BGE、M3E）将文本转为稠密向量 索引存储：写入向量数据…
匹配正文：答案要点 文档预处理与分块策略的选择依据 Embedding模型选型与向量索引构建 检索召回与精排的两阶段设计 上下文窗口优化与生成环节的关键技术 RAG的核心流程可分为离线构建和在线服务两个阶段： 一、离线文档处理 文档解析：处理PDF/Word/网页等多格式，提取结构化文本（表格、标题层级保留） 分块（Chunking）：关键设计点 固定长度（如512 token）简单但易截断语义 按段落或语义分块；滑动窗口只作为待测候选，由同一评测集决定是否启用及长度 特殊处理：代码按…
匹配正文：…识更新、幻觉问题） 一、RAG基本工作流程 离线索引阶段 文档解析：处理PDF/Word/网页等多格式，提取结构化文本 文本分块（Chunking）：按语义或固定长度切分，通常512-1024 tokens，需保证语义完整性 向量化（Embedding）：用BGE、M3E等模型将chunk编码为稠密向量 索引存储：写入Milvus/Pinecone/Elasticsearch等向量数据库，可结合稀疏索引（BM25）做混合检索 在线检索生成阶段 查询理解：用户query可能需改…
学习内容与项目面试，在同一条路上。