搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「HNSW与IVF」找到 66 条内容
按专题浏览 →匹配正文:…块作为候选,按段落或句子保留边界 块大小权衡:太小丢失上下文,太大引入噪声 将无重叠、短重叠和较长重叠放进同一评测集,比较边界召回与冗余成本 2. Embedding模型选择 通用场景:BGE、GTE、E5系列 垂直领域建议微调,使用领域语料对比学习 多语言场景需确认模型跨语言对齐能力 3. 向量数据库核心配置 参数 作用 典型设置 索引类型 HNSW(高召回)vs IVF(快建索引) HNSW,ef_construction=200 距离度量 余弦相似度 / 内积 / L2…
匹配正文:…判断语义边界,块大小不均 对连贯性要求高的文档 关键权衡:块太小可能缺上下文,块太大可能引入噪声。应把多组 chunk size 与 overlap 组合放进同一评测集,比较召回、答案质量和成本。 3. 向量化与存储 Embedding选型:中文用BGE、M3E,多语言用E5、OpenAI text-embedding-3 向量数据库:Milvus(大规模)、Qdrant(易用)、Elasticsearch(混合检索方便) 索引构建:HNSW(图索引,召回率高)、IVF-PQ…
匹配正文:…语义分块、递归分块等)及边界处理 Embedding模型的选型考量(中英双语、上下文长度、领域适配) 向量索引结构对比(Flat、IVF、HNSW)与选型场景 完整数据流:解析→清洗→分块→向量化→元数据关联→入库 完整流程:原始文本 → 向量数据库 1. 文档解析与预处理 格式兼容:PDF/Word/Markdown/网页等统一解析,处理乱码、特殊符号 结构保留:提取标题层级、段落边界,为语义分块提供依据 清洗降噪:去除页眉页脚、重复内容、无效HTML标签 2. 分块(Ch…
学习内容与项目面试,在同一条路上。