搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「BM25 vs 向量检索」找到 70 条内容
按专题浏览 →匹配口述回答:…] 算法召回Top-K。但光靠向量不够,比如“退款”和“退货”语义相近但业务不同,所以我会加 [[Hybrid Search]]:向量检索加 [[BM25]] 关键词检索,两路结果合并后再用 [[Cross-Encoder]] [[重排序]]。这一步能显著提升召回相关性,尤其当知识库有大量相似文档时。 生成阶段,把检索到的文本和问题拼成Prompt,让LLM基于证据回答。Prompt结构很关键:先给检索内容,再给问题,明确要求模型引用来源。这里有个风险:如果检索内容有噪声或冲…
匹配正文:答案要点 离线知识库构建流程(文档解析、分块、向量化、索引存储) 在线检索生成流程(Query改写、向量检索、重排序、上下文融合) RAG vs 微调的选择权衡 典型应用场景举例 典型实现方式 离线阶段:知识库构建 文档解析:处理PDF/Word/网页等多格式,提取结构化文本 文本分块:按语义或固定长度切分,通常256-512 tokens,保留段落边界 向量化:用Embedding模型(如BGE、M3E)将chunk转为向量 索引存储:存入向量数据库(Milvus、Fais…
匹配正文:…模型对领域术语理解不足;Chunk切分破坏语义连贯性 改进:引入Rerank模型(如BGE-Reranker)二次精排;混合检索(BM25+向量)降低单一向量空间局限;查询改写(Query Expansion)补全隐含意图 2. 上下文稀释(Context Dilution) 表现:有效信息淹没在大量检索结果中,模型注意力分散,关键细节丢失 根源:固定Top-K截断,无关文档挤占有效token;长上下文模型对中间位置信息召回弱(Lost in the Middle) 改进:动…
学习内容与项目面试,在同一条路上。