搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「BM25向量Cross-Encoder」找到 121 条内容
按专题浏览 →匹配正文:… 这时适合处理问题的是 Rerank,也就是重排。 可另一个问题马上来了:既然 Rerank 能更细地比较问题与候选,为什么不跳过向量检索,直接让它给整个知识库打分? Bi-Encoder 和 Cross-Encoder 差在哪里? Embedding 模型通常采用双塔,也叫 Bi-Encoder。 Query 进入一侧编码器,文档进入另一侧编码器,最后比较两个向量的距离。文档向量可以在离线阶段提前算好,用户提问时只需要计算 Query 向量,再到索引中寻找近邻。 这种方式适…
匹配正文:… 3. 向量化与存储 Embedding选型:中文用BGE、M3E,多语言用E5、OpenAI text-embedding-3 向量数据库:Milvus(大规模)、Qdrant(易用)、Elasticsearch(混合检索方便) 索引构建:HNSW(图索引,召回率高)、IVF-PQ(内存友好),根据数据规模和延迟要求选择 4. 检索优化 混合检索:向量相似度 + 关键词匹配(BM25),用RRF融合排序 查询改写:扩展同义词、纠错,提升召回 重排序(Rerank):用Cro…
匹配正文:…重写(Query Rewriting):用LLM扩展/澄清用户意图,如"苹果→苹果公司/Apple Inc." HyDE(假设文档嵌入):让模型先生成假设答案,再用答案去检索 2. 检索侧优化 多路召回:BM25 + 向量检索 + 关键词匹配,互补覆盖 重排序(Rerank):用Cross-Encoder等交互式模型精排,捕捉细粒度相关性 负样本硬挖掘:把"语义近但任务远"的样本加入训练,拉远embedding 3. 数据侧根治 收集业务真实的<查询, 相关文档>对,微调Em…
学习内容与项目面试,在同一条路上。