搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Embedding」找到 565 条内容
按专题浏览 →匹配正文:…索引结构层面 HNSW图索引:平衡召回率与查询速度,适合中等规模;超大规模时采用IVF-PQ或ScaNN降低内存占用 量化压缩:裸向量每维FP32/FP16/INT8为4/2/1字节,PQ码长由子向量数和每码位宽决定;总索引另计结构,质量变化必须实测,不固定4–8倍。 磁盘索引:FAISS的IndexIVFPQ + ondisk模式,牺牲部分延迟换取容量 工程架构层面 分片(Sharding)+ 路由层,支持水平扩展 预过滤(metadata filter)减少候选集,避免全…
匹配正文:一、检索器选择:多路召回 稠密检索(Dense) 基于Embedding:DPR、Contriever,适合语义匹配 优势:跨表述理解;劣势:对罕见实体、精确匹配弱 稀疏检索(Sparse) BM25、TF-IDF、SPLADE,适合关键词精确匹配 优势:零样本、可解释;劣势:语义鸿沟 实践策略:双路召回 + 线性加权或Learned Fusion(如RRF倒数排序融合) 二、索引结构优化 方法 核心思想 适用场景 HNSW 图索引,贪心导航 百万级,高召回要求 IVF 聚类…
匹配正文:稀疏检索(Sparse Retrieval) 原理:基于词项空间的高维稀疏向量,经典代表是 BM25 和 TF-IDF。 维度 = 词表大小(通常 10万+),向量极度稀疏(大部分为0) 相似度度量:词袋匹配 + 词频加权,BM25 公式核心衡量词项与文档的相关性 优势:精确匹配能力强、可解释性好、无需训练、对关键词敏感 稠密检索(Dense Retrieval) 原理:通过编码器(如BERT、双塔模型)将文本压缩为低维稠密向量。 维度通常 256-1024,向量稠密 相似度…
学习内容与项目面试,在同一条路上。