搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「向量索引」找到 55 条内容
按专题浏览 →匹配正文:…配:垂直场景用LoRA微调或hard negative mining,避免 catastrophic forgetting。 二、向量索引机制与数据库选型 核心索引结构 HNSW:图索引,查询O(logN),构建慢、内存高,精度最优,适合静态库 IVF:倒排文件,聚类后搜索,内存友好,适合大规模(>100M),需调nlist/nprobe PQ/OPQ:乘积量化,极致压缩,内存受限场景,精度损失可控 组合策略:IVF+HNSW(粗排+精排)、IVF+PQ(大规模+低内存) 主…
匹配正文:…构建倒排表 监控闭环:记录"检索未命中→人工补充"的bad case,回流优化分块策略 学习建议 建议先掌握文本预处理、分块策略和向量索引原理,结合LangChain等框架动手实践典型流程,理解每步对检索质量的影响。
匹配正文:…中文分词、长文档处理) 核心分块策略 1. 固定长度分块 按token数或字符数硬切分(如512 tokens) 优点:简单、对齐向量索引、便于批处理 缺点:可能切断语义,边界信息丢失 2. 滑动窗口分块 把零重叠、短窗口和较长窗口作为候选,用同一评测集比较边界证据完整率、召回与成本 保证上下文连续性,减少边界效应 代价:存储和计算成本上升 3. 语义分块(推荐) 基于句子/段落边界切分,保持语义完整 可用NLP工具(spaCy、NLTK)或模型判断语义边界 中文场景需特别注…
学习内容与项目面试,在同一条路上。