页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「对话 Agent 评估」找到 80 条内容
按专题浏览 →匹配正文：… F1：与标准答案的匹配度 人工评估：有用性、完整性、简洁性（1-5分制） 二、Agent系统评估体系 核心能力维度 维度 指标 评估方式 规划能力 任务完成率、步骤合理性 轨迹对比、人工判断 工具调用 工具选择准确率、参数正确率 模拟环境+日志分析 推理能力 多跳推理成功率 复杂问答数据集 自主性 是否过度求助/擅自行动 场景注入测试 动态评估方法 模拟环境测试：在沙箱中执行，监控中间状态 对抗测试：注入干扰信息、工具故障、模糊指令 多轮一致性：长对话中记忆和状态的保持 三…
匹配正文：…tive策略 人工+自动化的混合标注流程 数据代表性验证方法 核心设计原则 Agent和RAG的评估目标不同：RAG重事实准确性，Agent重任务完成度与工具调用正确性，需分开设计。 数据采集 来源 适用场景 注意事项 真实用户日志 高价值、分布真实 脱敏+去偏，避免头部query过度采样 合成数据（LLM生成） 快速覆盖长尾场景 需人工校验，控制幻觉比例 公开benchmark适配 跨模型可比 检查license，避免数据污染 关键：覆盖多轮对话、边界case（如无答案、需…
匹配正文：…PPO的稳定性与DPO的简洁性 评估需建立自动指标+人工评估+在线A/B测试的闭环 迭代优化强调数据飞轮和失败案例挖掘 以工具调用Agent为例，完整训练链路如下： 1. 数据收集 种子数据：人工标注的(tool, query, trajectory)三元组，覆盖单步/多步调用 合成数据：用强模型（GPT-4）生成候选轨迹，经规则过滤+人工校验 关键：确保工具描述准确、边界case充足（调用失败、参数错误等） 2. 任务建模 建模为部分可观测马尔可夫决策过程：状态=对话历史+…
学习内容与项目面试，在同一条路上。