搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「归一化」找到 101 条内容
按专题浏览 →匹配正文:…检索框架的改进算法,核心洞察:词频贡献存在饱和效应——一个词出现10次和100次的区分度,远不如出现1次和10次。同时引入文档长度归一化,解决长文档天然词频高的问题。 数学公式 单查询词得分: \text{score}(D,Q) = \sum_{i=1}^{n} \text{IDF}(q_i) \cdot \frac{f(q_i,D) \cdot (k_1+1)}{f(q_i,D) + k_1 \cdot (1-b+b\cdot\frac{|D|}{avgdl})} IDF计…
匹配正文:…3. 相似度计算(Similarity) 余弦相似度:最常用,消除向量长度影响,关注方向一致性 点积:计算快,但受模长影响(适合已归一化的向量) 欧氏距离:物理距离,适合需要绝对位置的场景 完整检索流程 Query → Embedding模型 → 向量 → ANN索引检索 → Top-K候选 → 重排序(可选)→ 返回 工程要点:索引需定期增量更新;大流量场景做查询缓存;关键业务加向量+关键词混合检索。
匹配正文:…的文本在向量空间中距离相近 维度通常 256-1536 维,需权衡表达能力与存储成本 2. 相似度计算 余弦相似度:衡量向量夹角,归一化后等价于内积 欧氏距离:适合语义空间均匀分布的场景 实际系统常做向量归一化,将相似度搜索转为最近邻搜索 3. 索引构建(ANN近似最近邻) 索引类型 原理 特点 HNSW 分层导航小世界图 召回率高、构建慢、内存大 IVF 聚类+倒排 内存友好、需调nlist参数 PQ/OPQ 向量量化压缩 大幅降低存储,有损召回 4. 大规模系统实现 数据…
学习内容与项目面试,在同一条路上。