搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG 延迟」找到 334 条内容
按专题浏览 →匹配正文:…先用状态机。 工具层:工具 schema、参数校验、权限、超时、幂等、重试、熔断和结果校验。 记忆与知识层:短期状态、长期记忆与 RAG 分开治理,并执行租户隔离和删除策略。 安全与人工层:敏感动作审批、最小权限、提示注入防护和审计。 观测层:记录 trace、模型与 Prompt 版本、工具输入输出、token、延迟、错误码和回退路径。 教学假设:数据分析 Agent 假设系统接收自然语言分析请求。流程可以是:识别数据域 → 检索 schema 和口径 → 生成查询计划 →…
匹配正文:…tion Calling / Tool Use 核心机制:模型原生支持结构化工具调用(OpenAI、Claude、文心等) 特点:延迟低、格式稳定、易集成;但单轮调用,无显式推理链 适用场景:API对接、实时数据查询、标准化工具集成的生产环境 3. LangChain / LlamaIndex 核心机制:模块化编排,封装了Prompt管理、记忆、工具链等 特点:生态丰富、上手快;但抽象层厚,定制灵活性受限 适用场景:快速原型验证、RAG+Agent结合的标准化应用 4. Au…
…OpenAI Function Calling的parallel模式),串行改并行 流式输出(Streaming)降低首token延迟,提升用户感知 执行层优化 引入执行引擎(如LangGraph、LlamaIndex Workflows)管理状态机 长任务拆分子Agent,分布式执行减少单点阻塞 推理机制优化 模型层面 意图识别用小模型(Distill/SLM),复杂推理才调大模型 投机解码(Speculative Decoding)、KV Cache复用加速生成 常见查询…
学习内容与项目面试,在同一条路上。