搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Agent 推理机制」找到 4 条内容
按专题浏览 →匹配正文:…,提升用户感知 执行层优化 引入执行引擎(如LangGraph、LlamaIndex Workflows)管理状态机 长任务拆分子Agent,分布式执行减少单点阻塞 推理机制优化 模型层面 意图识别用小模型(Distill/SLM),复杂推理才调大模型 投机解码(Speculative Decoding)、KV Cache复用加速生成 常见查询走RAG缓存,避免重复推理 上下文压缩 动态裁剪历史,只保留关键决策节点 摘要机制:每N轮对话生成状态摘要,替换原始对话 外部工具集成…
匹配正文:… 沙箱隔离 + 权限分级 + 执行结果校验(防止工具幻觉) 工具学习 观察人类使用模式,自动归纳工具组合范式 进阶:工具创造——让Agent根据需求生成临时脚本/代码并执行 三、推理机制:从链式思考到树状探索 ReAct:推理与行动交错,适合实时反馈环境 ToT(Tree of Thoughts):维护多个推理分支,投票或评估选择最优路径 Reflexion:执行后自我批评,将失败经验写入记忆避免重复 LATS(Language Agent Tree Search):结合MC…
匹配正文:…:模型自发生成<API>name(args)</API>,系统拦截执行后回填结果 关键:工具调用成为模型的"语言习惯" 三、训练与推理机制 阶段 Function Calling Toolformer 训练 无需专门训练,靠指令遵循能力 需大规模继续预训练(计算成本高) 推理 每次请求携带工具描述,动态决策 模型参数已内化,直接生成调用标记 新工具接入 改Schema即可,零成本 需重新训练或微调模型 错误处理 系统层可控,可重试/降级 模型层难干预,生成错误难以纠正 四、高…
学习内容与项目面试,在同一条路上。