页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「文本分块」找到 28 条内容
按专题浏览 →匹配正文：…度限制、知识更新、幻觉问题） 一、RAG基本工作流程 离线索引阶段 文档解析：处理PDF/Word/网页等多格式，提取结构化文本 文本分块（Chunking）：按语义或固定长度切分，通常512-1024 tokens，需保证语义完整性 向量化（Embedding）：用BGE、M3E等模型将chunk编码为稠密向量 索引存储：写入Milvus/Pinecone/Elasticsearch等向量数据库，可结合稀疏索引（BM25）做混合检索 在线检索生成阶段 查询理解：用户quer…
匹配正文：…知识库构建（Indexing） 步骤 功能 关键技术 文档加载 解析PDF/Word/网页等多源格式 OCR、表格识别、版式分析 文本分块 将长文档切分为语义完整的片段 固定长度/递归/语义分块；块大小通常256-512 token 向量化 将文本块转为稠密向量 Embedding模型（BGE、M3E、OpenAI text-embedding-3等） 索引存储 构建高效向量索引 HNSW、IVF等ANN算法；向量数据库（Milvus、Faiss、Qdrant） 二、在线检索…
匹配正文：…ex Pipeline） 步骤 功能 关键设计 文档解析 处理PDF/Word/网页等多格式 保留结构信息（标题层级、表格位置） 文本分块 将长文档切分为chunk 策略：固定长度/语义分块/递归分块；chunk size通常256-512 tokens 向量化 Embedding模型编码为稠密向量 选用领域适配的模型（如BGE、M3E）；考虑稀疏向量（BM25）做混合 索引存储 写入向量数据库 Milvus/Pinecone/Elasticsearch；构建HNSW索引加速…
学习内容与项目面试，在同一条路上。