匹配正文：BM25 的核心思想 BM25 是经典概率相关性排序方法之一，对每个查询词累加 IDF 权重，并用可调的词频饱和与文档长度归一化控制得分。常用形式为： \text{Score}(D,Q)=\sum_{q_i\in Q}\text{IDF}(q_i)\cdot\frac{f(q_i,D)(k_1+1)}{f(q_i,D)+k_1(1-b+b|D|/\text{avgdl})} 实践中常用非负 IDF 变体，例如 \log(1+(N-n_i+0.5)/(n_i+0.5))；具体公…

#美团#BM25#BM25 算法原理

面试题·检索· 美团

BM25公式参数含义与TF-IDF对比

匹配正文：BM25 评分常用 Okapi BM25 形式为： score(D,Q)=Σ IDF(q) × f(q,D)(k1+1) / [f(q,D)+k1(1-b+b|D|/avgdl)] 其中 f(q,D) 是词频，|D| 与 avgdl 是当前文档和语料平均长度，k1 控制词频饱和速度，b 控制长度归一化强度。IDF 有多种实现；原始概率形式可写为 log((N-n+0.5)/(n+0.5))，也有 log(1+(N-n+0.5)/(n+0.5)) 等非负变体。回答时应说明所用…

#美团#BM25#BM25 算法原理

面试题·检索· 美团

BM25 公式与 TF-IDF 对比

…长度，avgdl：平均文档长度 k_1 \in [1.2,2.0]：控制词频饱和速度（通常取1.5） b \in [0,1]：控制长度归一化强度（通常取0.75） IDF计算： IDF(q_i) = \ln\frac{N-n(q_i)+0.5}{n(q_i)+0.5} 相比TF-IDF的主要改进改进点 TF-IDF问题 BM25解决方式词频饱和词频线性增长，高频词过度加权引入饱和函数 \frac{f(k_1+1)}{f+k_1}，词频收益递减长度归一化长文档天然占…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：

#美团#BM25词频饱和#BM25 公式与 TF-IDF 对比

面试题·检索· 美团

BM25 参数 k1/b 调优

匹配正文：…frac{f \cdot (k_1+1)}{f + k_1 \cdot (...)}，用k_1控制饱和速度（通常1.2-2.0）长度归一化：b参数控制文档长度影响（通常0.75）相比TF-IDF的改进维度 TF-IDF BM25 词频处理线性增长，无上限对数饱和，存在上限文档长度无显式处理显式归一化，可调参数b 参数灵活性固定公式 k_1, b可针对语料调优理论基础启发式VSM 概率检索框架关键优势解决词频爆炸："苹果"出现100次 vs 10次，相…

#美团#BM25长度归一化#BM25 参数 k1/b 调优

面试题·检索· 网易

BM25+向量+Cross-Encoder 怎么组合?

匹配正文：整体架构 Query ├─ BM25 稀疏召回 └─ 向量稠密召回 ↓ 去重与排名融合 ↓ Cross-Encoder 重排小候选集 ↓ Top-K 三类组件的分工 BM25：利用词项匹配、IDF 和长度归一化，擅长专有名词、编号、短语和必须字面命中的查询；速度取决于索引、语料与部署，不能称为“零延迟”。向量召回：用 embedding 表达语义相似，能补充同义改写和字面不重合的结果，但可能弱化精确实体或数值约束。 Cross-Encoder：联合编码 query-docu…

#网易有道#BM25向量Cross-Encoder#BM25 向量召回 Cross-Encoder

面试题·检索· 高德

BM25原理、应用场景及与TF-IDF区别

匹配正文：…BM25的完整数学公式及各参数含义（k1, b）能对比BM25与TF-IDF的优劣（BM25对长文档更友好、有非线性饱和）了解BM25在RAG中的典型应用场景（粗排、混合检索）知道BM25的局限性（语义理解缺失，需配合向量检索）核心思想 BM25（Best Match 25）是基于概率检索框架的改进算法，核心洞察：词频贡献存在饱和效应——一个词出现10次和100次的区分度，远不如出现1次和10次。同时引入文档长度归一化，解决长文档天然词频高的问题。数学公式单查询词…

#高德#BM25评分公式#BM25 算法原理

面试题·检索· 美团

混合检索怎么提升 RAG 召回?

匹配正文：为什么要混合检索稀疏检索和稠密检索利用的信号不同：BM25 擅长实体名、编号、错误码和查询词共现；双塔向量检索能够召回词面不同但语义接近的文本。二者都可能失败，混合检索的价值是扩大互补覆盖，而不是保证每个查询都优于单路。两类检索与分数 Sparse/BM25 基于倒排索引，对查询词的 IDF、文档内词频饱和和长度归一化加权。分数受实现、语料统计和查询长度影响，没有可跨系统直接比较的固定尺度。 Dense/DPR 类双塔分别编码 query 和 document，再用点积、…

#美团#混合检索#混合检索 Hybrid Retrieval

面试题·RAG· OPPO

查询文档相关性怎么算?

匹配正文：搜索引擎的相关性计算经历了从关键词匹配→语义匹配→深度语义模型的演进，实际系统通常是多阶段级联。一、关键词匹配：经典但有效 BM25 是工业界标配，核心思想：词频饱和度：TF 增长边际递减（用 k1 控制）文档长度归一化：避免长文档占优（用 b 控制） IDF 惩罚常见词 score = Σ IDF(q_i) · [f(q_i,D)·(k1+1)] / [f(q_i,D) + k1·(1-b+b·|D|/avgdl)] 局限：词汇鸿沟、"苹果"歧义无法区分。二、语义匹…

#OPPO#查询文档相关性#语义匹配

面试题·检索· 美团

混合检索为什么用 Sparse+Dense?

匹配正文：…混合检索=精确性+语义泛化能力，是生产RAG系统的标配。 Sparse检索（稀疏检索）原理：基于倒排索引的词频统计方法，典型代表BM25 BM25(q,d) = Σ IDF(q_i) · [f(q_i,d)·(k1+1)] / [f(q_i,d) + k1·(1-b+b·|d|/avgdl)] 只关注查询词是否出现在文档中，向量极度稀疏（维度=词表大小）相似度度量：BM25 score（基于TF-IDF的改进版）特点：对高频词降权、对文档长度归一化，检索速度快 Dens…

#美团#Hybrid Retrieval#混合检索

面试题·检索· 美团

混合检索为什么优于单一检索?

匹配口述回答：… 精确匹配和语义理解之间做取舍。我先分别讲清楚两边，再说为什么实际项目里必须混着来。先说[[稀疏检索]]，典型代表是 [[BM25]]。它的核心是倒排索引加词频统计，说白了就是看 query 和文档里哪些词撞上了，撞得越多分越高。BM25 有个关键参数 k1 和 b，控制词频饱和度和文档长度归一化，这个调参挺讲究的。它的优点很明确：可解释性强，新词零成本，对精确匹配场景特别好用。比如搜「iPhone 15 Pro Max」，你必须匹配到那个准确的产品名，用[[稠密检索…

#美团#稀疏稠密检索#混合检索策略