页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「工具调用」找到 316 条内容
按专题浏览 →匹配正文：…单步效果与端到端链路效果，建立分层评估体系。 自动评估指标 类型 具体指标 适用场景 规则-based 正则匹配、JSON合法性、工具调用格式正确率 结构化输出验证，如Function Calling参数格式 模型-based LLM-as-Judge（GPT-4/Claude打分）、NLI entailment 语义正确性、回答相关性，需设计明确评分维度 执行反馈 任务完成率、步骤数、工具调用成功率、端到端延迟 真实业务闭环，如订机票场景是否成功出票 对比指标 与Gold …
匹配正文：…率 端到端目标达成比例 步骤级 步骤正确率 ReAct循环中Thought/Action/Observation的合理性 工具级 工具调用准确率 参数填充正确、时机选择合理 关键：人工标注成本高，可用LLM-as-Judge做初步筛选，人工复核边界case。 二、稳定性指标 输出一致性：相同输入多次运行的结果一致性（用BERTScore或任务特定相似度） 方差控制：关键指标的标准差，避免Prompt导致"时好时坏" 异常率：幻觉、循环、格式错误等失败模式占比 三、效率指标 T…
匹配正文：…包括字段类型、必填项、枚举、数值范围和是否允许额外字段。 模型支持 strict structured output 时优先启用；工具调用场景仍要解析 arguments，并在服务端验证。 模型不支持原生约束时，在系统指令中给出 Schema、一个最小示例，并明确只返回 JSON。 2. 解析与校验 先用标准 JSON 解析器解析，再用 JSON Schema、Pydantic 或等价工具做字段级验证。不要用简单正则或全局替换单引号、尾随逗号来“修复”任意文本，因为这可能改变…
学习内容与项目面试，在同一条路上。