完整题目
把一个 Agent 从演示环境部署到生产，需要检查哪些关键环节？常见陷阱是什么？
本文目录
先定义“上线成功”
Agent 上线不是把模型接口接通，而是让一条有副作用的执行链在明确权限、失败边界和可回滚条件下运行。先冻结模型与提示版本、工具清单、身份与租户、允许的副作用、负载模型和服务目标，再做容量与安全验证。没有这些条件，吞吐和延迟数字无法比较。
1. 请求与身份边界
- 在入口完成认证、限流、请求大小与输入类型校验，并把用户、租户、会话和请求 ID 贯穿到下游。
- 工具不能只依赖前端隐藏或模型“自觉”。服务端按当前用户重新校验资源范围，使用最小权限凭据；高风险动作需要预览、确认或审批。
- 缓存键必须包含会影响结果的身份、租户、模型、提示和知识版本。退出、权限变化和删除后要定义失效路径，避免跨账号复用私有结果。
2. 模型服务与容量
模型服务可以使用托管 API、vLLM 等引擎或自建服务，选择取决于模型、硬件、合规、并发和维护能力。压测至少记录到达率、并发、输入/输出 token 分布、流式方式、硬件与引擎配置，并分别观察排队时间、TTFT、TPOT/逐 token 延迟、端到端延迟、吞吐、错误率、抢占和 KV Cache 使用率。
不要写死“TTFT 必须小于 200 ms”或“吞吐必须超过 1000 token/s”。SLO 来自用户流程和负载，前缀缓存也只在请求共享可复用前缀时减少 prefill 计算；它不是会话隔离机制。