搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「延迟」找到 588 条内容
按专题浏览 →匹配正文:…推理的比例 推理步数/深度:完成任务的平均步骤数 3. 效率与成本指标 Token消耗:Prompt+Completion总长度 延迟:端到端响应时间 重试率:因格式错误等导致的重新生成次数 实验方法 对照实验设计 固定模型版本、温度参数、工具集 划分测试集:按任务类型分层抽样 设置基线Prompt与新Prompt的A/B对比 评估方式组合 自动评估:用规则/模型判断输出是否符合预期格式和结果 人工抽检:对边界case做人工标注校准 用户反馈:实际场景中的满意度评分 关键原则…
匹配正文:…)、NLI entailment 语义正确性、回答相关性,需设计明确评分维度 执行反馈 任务完成率、步骤数、工具调用成功率、端到端延迟 真实业务闭环,如订机票场景是否成功出票 对比指标 与Gold Answer的ROUGE/BLEU、轨迹相似度 有标准答案的基准测试集 人工评估指标 维度设计:意图理解准确性、推理逻辑合理性、工具选择恰当性、回复自然度、安全合规性 适用场景:创意生成、复杂多轮对话、边界case、自动指标失效时(如"正确但无用"的回答) 评估框架设计 对照实验设…
匹配正文:…致"时好时坏" 异常率:幻觉、循环、格式错误等失败模式占比 三、效率指标 Token效率 = 有效信息产出 / 总Token消耗 延迟分解 = 首Token时间 + 每步平均耗时 × 步骤数 注意:Prompt变长可能增加单步延迟,但减少步骤数反而可能提升整体效率。 四、链路级评估方法 端到端追踪:用LangSmith/Phoenix等工具记录完整推理轨迹 归因分析:固定其他节点Prompt,单变量对比;或采用消融实验 关键路径识别:找出对最终成功率影响最大的瓶颈步骤 五、实…
按学习路线查看教程、项目和面试题。