搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG 集成」找到 51 条内容
按专题浏览 →匹配正文:…ll/SLM),复杂推理才调大模型 投机解码(Speculative Decoding)、KV Cache复用加速生成 常见查询走RAG缓存,避免重复推理 上下文压缩 动态裁剪历史,只保留关键决策节点 摘要机制:每N轮对话生成状态摘要,替换原始对话 外部工具集成 稳定性保障 工具调用加超时熔断(Circuit Breaker),超时自动降级 失败重试+指数退避,区分可重试错误(网络)与业务错误 结果验证 工具返回结构化校验(JSON Schema),异常时触发重执行或换工具 …
匹配正文:…节点) 关键优化:KV Cache按session隔离,支持prefix caching加速多轮;流式响应降低感知延迟 2. 工具集成层 注册中心:工具以OpenAPI Schema注册,含description+parameters+required字段供LLM理解 执行沙箱:工具调用走异步RPC/HTTP,超时默认5s可配置;敏感操作需人工确认节点 版本管理:工具升级时双版本并行,灰度流量切换 3. 上下文管理 状态存储:Redis存活跃session(TTL=30min…
匹配正文:…校验 实体链接+知识库校验:提取关键实体,核对是否存在于权威源 置信度阈值:对低置信度回答触发"我需要查询更多信息" 四、外部知识集成(RAG核心) 检索环节 混合检索:向量相似度 + BM25关键词 + 知识图谱路径 查询改写:HyDE(假设文档嵌入)、子查询分解 增强环节 重排序:Cross-encoder精排,过滤噪声文档 上下文压缩:只保留与问题相关的文档片段 生成环节 引用生成:强制模型标注信息来源,便于溯源和人工审核 实际权衡 场景 推荐方案 高频、事实稳定 预检…
学习内容与项目面试,在同一条路上。