搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「延迟」找到 588 条内容
按专题浏览 →匹配口述回答:… 具体说下索引。文档切分不是随便按字数切,我会按语义段落,块大小与重叠窗口都作为候选变量,再用同一评测集比较边界证据完整率、召回、延迟和索引成本。向量库选型上,如果数据量上亿,我会用Milvus,它分布式做得成熟;如果是几百万级别的轻量场景,Qdrant更轻便,部署成本低。[[Embedding]]模型的话,中文场景我倾向BGE或者M3E,英文用OpenAI那套。 检索这块,我会走混合路线。纯向量检索在短文本匹配上不如关键词,纯关键词又抓不住语义,所以我会把[[稠密检索]]和…
匹配口述回答:…一步。向量召回Top-K后,用轻量[[Cross-Encoder]]比如bge-reranker做精排,能显著提升相关性。但代价是延迟,所以得权衡。另外,查询改写也很有用,用户输入'退款怎么还没到',LLM可以扩展成'退款到账时间、退款流程、退款进度查询',提高召回率。 最后说维护。知识库不是建完就完了,数据会变、用户query会变。我一般做增量更新,新数据单独建索引,定期合并。但有个坑:删除操作不能原地动图索引,否则召回质量会崩。我倾向软删除加后台异步重建,用base加de…
匹配口述回答:…器。还有一个做法是上下文压缩,用一个小模型把长文档摘要成关键信息,减少噪声。这里有个坑:重排序模型本身有计算开销,如果召回量太大,延迟会飙升,所以我会把召回数控制在20以内,再精排取前3。 说到评估,我除了用MS MARCO、Natural Questions这些开源数据集,一定会构建自己的业务评测集,覆盖真实场景的bad case。比如在金融风控场景,我会专门构造一些“相似但不相关”的案例来测试模型的抗噪声能力。 最后,我更倾向把整个流程看成一套组合拳,而不是单一技术。数据…
按学习路线查看教程、项目和面试题。