页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「超时控制」找到 9 条内容
按专题浏览 →匹配正文：…超时或依赖故障 推理超时、下游持续不可用 熔断、切换依赖或降级 重试条件应由错误码或错误类型决定，不能把所有异常统一重试。 2. 超时控制采用统一预算 请求总预算 ├── 模型推理：使用剩余预算的一部分 ├── 工具调用：单次超时 × 有限重试 └── 外部 API：更短超时，并预留降级时间 子模块超时必须小于父级剩余时间，避免父请求结束后仍有“僵尸调用” 通过 deadline 或 cancellation token 逐层传递截止时间 流式输出只能延长客户端等待体验，不能…
匹配正文：… / 重复检测 / 参数校验 失败重试 + 降级:搜索超时?重试几次;还不行,降级到备用搜索源,或返回「暂时查不到」让模型换策略 超时控制:每个工具调用都要有超时,别让一个卡死的网页拖垮整轮 重复检测:模型有时会反复搜同一个词(陷在原地),检测到就提示它「这个查过了,换个角度」 参数校验:调用前先校验参数合法(top_k 不能是负数),不合法直接返回可读错误 2.5 缓存策略:省钱又提速 调研类任务里,同样的搜索 / 网页访问会反复出现(不同问题、不同轮次撞到同一来源)。多层…
匹配正文：…使工具很快，状态数据库也可能争用。 所以监控必须按整条任务链路拆解，不能把 GPU 利用率当作服务完成度。 超时应该分几层？ 连接超时控制客户端等待，不应直接等于任务终止。 单次模型调用与工具调用有独立超时。 每个步骤有执行预算，整个任务还有总时间与成本预算。 排队等待也应有期限，避免任务永远留在 queued。 不同超时需要不同动作：单工具超时可换源，任务预算将尽可保存状态并部分交付，排队超时可提示用户稍后重试。 超时值要由真实负载和用户需求验证。本文不提供固定 SLA，也…
学习内容与项目面试，在同一条路上。