页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Prompt 评估」找到 225 条内容
按专题浏览 →匹配正文：…端任务是否达成目标 步骤效率：平均完成所需步数、工具调用次数 路径最优率：与人工标注最优路径的偏离度 资源层指标 Token消耗：Prompt + Completion 总量 延迟：首token时间、总推理时间 成本：按实际调用定价换算 稳定性指标 方差：同输入多次运行的结果一致性 错误分布：失败case的分类占比 定性评估维度 可解释性：中间推理步骤是否清晰可追溯 鲁棒性：边界case、对抗输入的表现 可维护性：Prompt复杂度、模块化程度 用户体验：人工抽检满意度评分 …
匹配正文：核心评估维度 1. 任务完成指标（端到端） 任务成功率：Agent完成目标的比例 步骤正确率：关键决策节点的判断准确性 结果一致性：相同输入下输出稳定性 2. 推理质量指标 工具调用准确率：Function Calling参数正确性 幻觉率：虚构信息或错误推理的比例 推理步数/深度：完成任务的平均步骤数 3. 效率与成本指标 Token消耗：Prompt+Completion总长度 延迟：端到端响应时间 重试率：因格式错误等导致的重新生成次数 实验方法 对照实验设计 固定模型…
匹配正文：核心思路 Agent系统的Prompt优化评估需区分单步效果与端到端链路效果，建立分层评估体系。 自动评估指标 类型 具体指标 适用场景 规则-based 正则匹配、JSON合法性、工具调用格式正确率 结构化输出验证，如Function Calling参数格式 模型-based LLM-as-Judge（GPT-4/Claude打分）、NLI entailment 语义正确性、回答相关性，需设计明确评分维度 执行反馈 任务完成率、步骤数、工具调用成功率、端到端延迟 真实业务闭…
学习内容与项目面试，在同一条路上。