页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「缓存 TTL」找到 14 条内容
按专题浏览 →匹配正文：Deep Research 会反复搜索相似关键词，也会多次访问同一页面。 不做缓存，同一份搜索结果和网页正文会不断消耗外部接口、时间与解析资源。做了缓存，另一个问题马上出现：用户问“刚发布”“当前版本”“今天有什么变化”，系统却拿昨天或更早的结果回答。 缓存本身没有错。真正的问题是，系统把“以前可用”误当成“现在仍适合当前问题”。 搜索结果、网页正文、抽取片段、计算结果和最终报告的新鲜度要求不同。一个固定 TTL 无法覆盖所有任务。权限、页面版本、查询参数和证据用途如果没有进…
匹配正文：…2+T3降到max(T1,T2,T3) 流式规划：LLM生成工具调用参数时边生成边执行，不等完整JSON，减少空等时间 2. 多级缓存体系 层级 缓存内容 失效策略 工具结果缓存 工具输入→输出映射 TTL+版本号，高频工具设30s-5min LLM输出缓存 相似query的完整推理链 语义相似度匹配，embedding检索 前缀缓存 多轮对话的KV Cache vLLM自动管理 3. 请求调度优化 优先级队列：区分实时/异步任务，VIP用户走独立队列 批量合并：相同工具的请…
上下文状态分层管理 三层状态架构 会话级（Session）：当前对话轮次、临时槽位，TTL 5-30分钟 用户级（User Profile）：长期偏好、历史意图分布，持久化存储 全局级（Global）：热点配置、A/B实验参数，本地缓存+广播更新 槽位信息设计 # 结构化槽位：值 + 置信度 + 来源轮次 + 是否已确认 slot = { "destination": {"value": "北京", "conf": 0.95, "turn": 3, "confirmed": …
学习内容与项目面试，在同一条路上。