搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「文本预处理」找到 4 条内容
按专题浏览 →匹配正文:答案要点 文本预处理策略(分块、清洗、元数据保留) Embedding模型选型依据(中英双语、上下文长度、领域适配) 向量生成与批量优化 归一化的作用(余弦相似度计算) 实际工程中的注意事项(并发、缓存、版本管理) 文本预处理 核心目标:保留语义完整性,控制块大小 文档解析:PDF用PyMuPDF/MinerU,HTML去标签,表格保留结构 分块策略:按语义段落切分,并比较多组 chunk size 与 overlap 候选,用同一评测集验证边界召回和成本 清洗降噪:去页眉页…
匹配正文:答案要点 文本预处理的关键步骤(清洗、分块、元数据保留) Embedding模型选型依据(领域适配、多语言、维度权衡) 向量索引算法选择(HNSW、IVF、PQ的适用场景) 存储方案设计(向量+标量混合存储、分片策略) 查询优化手段(查询重写、重排序、缓存策略) 1. 文本预处理 清洗:去HTML标签、特殊字符、统一编码,保留语义关键信息 分块策略:按语义段落切分(非固定长度),重叠窗口保证上下文连贯;高德场景可考虑POI名称、地址等结构化字段单独处理 元数据关联:保留原始I…
…构化数据融合,索引层预构建倒排表 监控闭环:记录"检索未命中→人工补充"的bad case,回流优化分块策略 学习建议 建议先掌握文本预处理、分块策略和向量索引原理,结合LangChain等框架动手实践典型流程,理解每步对检索质量的影响。
学习内容与项目面试,在同一条路上。