搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Rerank模型」找到 322 条内容
按专题浏览 →匹配正文:…(离线) 文档分块:按语义/固定长度切分,控制chunk大小(通常256-512 tokens) Embedding编码:用预训练模型(如BGE、M3E、OpenAI-ada)将文本映射为稠密向量 关键:领域数据建议微调Embedding模型,解决分布偏移 2. 向量索引构建 存储:向量数据库(Milvus、Faiss、Pinecone)或近似最近邻索引(HNSW、IVF) HNSW:图索引,查询快、精度高,适合动态更新场景 3. 查询检索(在线) 查询向量化:同一Embed…
匹配正文:…长度对得分的影响。b=0 表示不做这部分归一化,b 增大并不等于对所有长文档固定扣同样分数。 概率检索框架:BM25 从概率相关性模型演化而来;TF-IDF 也有多种归一化变体,因此只能与所选基础实现对比,不能笼统说所有 TF-IDF 都完全不处理长度。 参数与验证 k1、b、分词、停用词、字段权重和 IDF 变体共同影响结果。典型默认值只用于起点,最终应在目标语料和标注查询上以 MRR、NDCG、Recall@K 与业务结果调参。 在 RAG 中的作用 BM25 擅长术语、…
匹配正文:…检索:理解"适合聚会的餐厅"→ 抓取"包厢、多人套餐"等语义特征 融合策略:两阶段检索(稠密召回Top-K + 稀疏补充 + 统一Rerank),或线性加权融合分数 关键经验:稠密检索的增益在头部热门query最明显,长尾query仍需稀疏兜底。 学习建议 建议先掌握向量空间模型与词袋模型基础,再学习BM25和Sentence-BERT等典型算法,通过动手实现简单检索系统加深理解。
学习内容与项目面试,在同一条路上。