完整题目
请列举你在项目中使用过的评测数据集,并说明选择这些评测集的原因以及它们如何反映模型性能。
只列举确实使用过的数据集
回答应先说明任务、模型版本和评测目的,再从真实实验记录中选择数据集:
- 通用知识与理解:若实际使用 MMLU,说明它覆盖多学科多项选择,关注宏平均、学科切片、prompt 与 few-shot 设置。
- 数学问题求解:GSM8K 是小学数学文字题,MATH 覆盖更具挑战的竞赛数学问题。它们评测的是数学问题求解结果;是否使用或输出 CoT 是推理与评分协议,不能直接把数据集叫作“CoT 能力测试”。
- 代码生成:若使用 HumanEval,说明以单元测试执行 functional correctness,并报告 pass@k、采样数和沙箱安全。
- 业务或 RAG:公开集不能代替目标场景,应建立经过许可、去重和版本化的私有测试集,分别评估检索、上下文利用、faithfulness 和任务成功。
每个数据集都要交代选择理由、split、样本数、污染与近重复检查、评分脚本版本和局限。没有实际跑过的金融、代码或线上数据不能写成个人项目成果。
继续追问 · 3 个问题
- 如果业务场景没有现成评测集,你会如何构建?
- 如何防止评测集数据泄露到训练集?
- 评测指标和实际用户体验不一致时怎么处理?
换一种问法,检查是否真正理解
场景切入
假设你在做电商客服模型,上线前总要测一下效果吧?你一般用什么评测集来验证模型在退货咨询、价格查询这些场景上的表现?
层层追问
你平时怎么评估模型能力?……都用过哪些评测集?……那为什么选这些而不选其他的?它们能真实反映模型在业务上的表现吗?
直球架构
请列举你在项目中用过的评测数据集,说明选择它们的理由,以及每个评测集具体能反映模型的哪些能力维度。