页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「文档预处理」找到 17 条内容
按专题浏览 →匹配标题与标签：第 3 章:文档预处理与切分 在已验证的独立兼容环境中加载PDF并按字符切分，处理短/空输入，解释重叠、检索证据与验证边界。 RAG RAG 检索 项目实战
匹配正文：1. 文档预处理 格式解析：用PyPDF2、python-docx等提取文本，扫描件需OCR（PaddleOCR/EasyOCR） 清洗去噪：去除页眉页脚、特殊符号、重复内容，保留表格/标题结构信息 元数据标注：记录文档来源、章节、时间戳，用于过滤和溯源 2. 文本分块（Chunking） 策略 特点 适用场景 固定长度 简单高效，可能切断语义 通用场景，追求速度 递归分块 按标点层级分割，保持句子完整 大多数文本 语义分块 用模型判断语义边界，块大小不均 对连贯性要求高的文…
匹配正文：1. 文档预处理 格式解析：PDF用PyMuPDF/MinerU，Word用python-docx，HTML用BeautifulSoup 内容清洗：去除页眉页脚、页码、特殊符号；统一编码；处理OCR错误 结构保留：提取标题层级、表格结构、段落关系，用于后续语义分块 2. 文本分块策略 策略 适用场景 注意点 固定长度 实现简单，参数需评测 比较多组 chunk size 与 overlap 候选，验证边界召回和冗余成本 递归字符 按标点/换行逐级切分 优先保证句子完整性 语义…
学习内容与项目面试，在同一条路上。