搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG 延迟」找到 334 条内容
按专题浏览 →匹配正文:…00~200重排,平衡召回与成本 级联过滤:先用轻量模型(如bge-reranker-base)粗排,再用大模型精排Top-20 延迟优化:交叉编码器可蒸馏为tiny版本,或用ONNX/TensorRT加速;ColBERT支持PLAID索引进一步提速 一句话总结:重排序是RAG从"可用"到"好用"的关键投入,建议至少部署轻量交叉编码器,高价值场景叠加LLM重排。 学习建议 建议系统学习该知识点
匹配口述回答:…,线上根本扛不住。所以实际中常用的是轻量级模型,比如 MiniLM 或者[[蒸馏]]过的版本,或者用 [[ColBERT]] 这种延迟交互的方案,效果接近 Cross-Encoder 但快很多。第二个坑是输入截断。重排模型通常有长度限制,比如 512 tokens,而很多文档比这个长。如果不做截断策略,直接把文档尾巴切掉,可能会丢掉关键信息。我一般会先对文档做关键片段提取,或者用[[滑动窗口]]把长文档切成多段分别打分,再取最高分。 所以我的倾向是,把重排看成 RAG 系统的…
匹配正文:核心思路 RAG优化是个系统工程,需分模块迭代+数据驱动,避免单点优化陷入局部最优。 一、检索层优化(源头质量) 手段 具体做法 索引策略 按语义/结构切分(如标题+正文),关键信息冗余存储;多粒度索引(段落+句子) 查询改写 Query扩展(同义词、LLM生成变体)、意图识别后路由不同索引 混合检索 向量+关键词+结构化过滤联合召回,解决语义漂移和精确匹配需求 二、重排序层优化(精排筛选) Cross-Encoder精排:用轻量模型(如bge-reranker)对召回Top…
学习内容与项目面试,在同一条路上。