本文目录
评估是大模型应用从 demo 走向生产的分水岭。面试官会追问你怎么构造评测集、怎么区分检索问题和生成问题、线上怎么监控成本与质量。这一页把评估与监控题目、项目章节和面试准备路径放在一起。
配套教程
知识模块
评估指标、评测集与线上监控
常见问题
大模型评估面试最容易被追问什么？
最常见的是评测集怎么来、指标为什么这样选、badcase 怎么归因，以及线上质量下降时怎么定位。只说准确率不够，必须能把检索、生成、工具调用、成本和延迟拆开评。
LLM-as-Judge 能直接替代人工评估吗？
不能。它适合做大规模初筛和趋势监控，但需要抽样人工校准、固定 rubric，并警惕位置偏差、格式偏差和模型同源偏差。面试中要讲清边界。
RAG 和 Agent 的评估有什么不同？
RAG 更关注召回、相关性、引用和回答正确性；Agent 还要评估任务完成率、工具调用轨迹、失败恢复和成本。二者都要有可复现的 case 集。