搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG 延迟」找到 334 条内容
按专题浏览 →匹配正文:核心问题分析 RAG与Agent结合时,延迟和正确率问题呈乘法放大效应——Agent的多步决策特性使RAG缺陷被反复累积。 一、响应延迟的成因与优化 延迟来源 具体成因 优化方案 检索层 向量库冷启动、跨地域查询、Embedding计算 预加载热数据到内存;本地缓存高频Query的Embedding;采用HNSW+量化索引 Agent决策层 ReAct多轮迭代、工具调用链过长、LLM推理本身 设置最大迭代阈值;并行化独立工具调用;用小模型做意图路由,大模型仅做最终生成 编排开…
匹配正文:…识 检索加速:向量量化(IVF-PQ)、图索引(HNSW)、检索结果缓存 流式生成:首token返回后chunk输出,降低用户感知延迟 并行化:检索与LLM调用解耦,工具调用异步化 正确率优化 混合检索:向量+关键词+知识图谱多路召回,RRF融合 查询改写:HyDE生成伪答案再检索,解决query-doc语义gap 重排序精排:Cross-encoder细粒度打分,过滤低质结果 Self-RAG:生成时主动判断是否需要补充检索,避免过度检索 Agent层优化 规划阶段用轻量模…
匹配正文:…度太细丢失上下文 知识动态性:Agent场景下工具返回结果、实时数据与静态知识库未有效融合 Agent场景的特殊复杂性 维度 传统RAG Agent+RAG 检索触发 单轮明确 多轮隐式(由LLM决策何时检索) 上下文 当前Query 历史对话+工具结果+检索结果累积 失败成本 单次回答差 可能引发错误工具调用链 核心矛盾:Agent的自主性要求检索模块既快又准,但两者往往此消彼长。实践中需在延迟约束下做精度妥协,或通过检索-生成流水线并行、缓存热点Query结果、自适应检索…
学习内容与项目面试,在同一条路上。