搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「多Agent架构」找到 372 条内容
按专题浏览 →匹配正文:…架自动检测 端到端指标 Exact Match / F1:与标准答案的匹配度 人工评估:有用性、完整性、简洁性(1-5分制) 二、Agent系统评估体系 核心能力维度 维度 指标 评估方式 规划能力 任务完成率、步骤合理性 轨迹对比、人工判断 工具调用 工具选择准确率、参数正确率 模拟环境+日志分析 推理能力 多跳推理成功率 复杂问答数据集 自主性 是否过度求助/擅自行动 场景注入测试 动态评估方法 模拟环境测试:在沙箱中执行,监控中间状态 对抗测试:注入干扰信息、工具故障、…
匹配正文:答案要点 区分Agent与RAG评估维度的差异 数据采集的多样性与真实性来源 负样本构造的hard negative策略 人工+自动化的混合标注流程 数据代表性验证方法 核心设计原则 Agent和RAG的评估目标不同:RAG重事实准确性,Agent重任务完成度与工具调用正确性,需分开设计。 数据采集 来源 适用场景 注意事项 真实用户日志 高价值、分布真实 脱敏+去偏,避免头部query过度采样 合成数据(LLM生成) 快速覆盖长尾场景 需人工校验,控制幻觉比例 公开benc…
匹配追问:场景切入 假设你在做一个客服Agent,用户问“我要退换货”,Agent需要先查询订单、再判断退货政策、最后生成退货单。你怎么让模型学会这种多步规划?训练数据怎么来? 层层追问 你训练过Agent的规划能力吗……一般用什么方法?……如果模型总是第一步调错工具,或者中途放弃,你会怎么改进?……那在RL阶段呢,结果奖励够用吗? 直球架构 说一下提升LLM Agent规划能力的技术路线。从SFT数据构建到RL优化,再到测试时扩展,每个阶段的关键方法是什么?
学习内容与项目面试,在同一条路上。