SFT 人工标注数据怎么构建?

人工数据集从任务抽样、试标和可复核流程构建

先定义目标任务、使用边界、输出 schema 和验收指标，再从预期流量、专家知识、公开任务与失败案例构造候选池。分层维度可包括意图、语言、难度、风险、输入长度和长尾类型。题量、专家占比、抽检率和真实/合成比例都应由试点误差、预算与学习曲线决定，不存在通用的 20/60/20、10% 或 1:3 配方。

标注指南应给定义、正反例、边界、不可判断、证据要求和升级路径。先做小批试标，收集分歧并迭代指南，再正式生产。两名固定标注者处理名义类别时可使用 Cohen's kappa；多名标注者的名义分类可按设计选择 Fleiss' kappa；标注人数不固定、存在缺失或量表不同可考虑 Krippendorff's alpha。指标选择取决于测量尺度和抽样设计，不能把“3 到 5 人算 Cohen's kappa”笼统处理，也不能把 0.7 当所有任务的统一放行线。

质量控制包括资格测试、隐藏金标、重叠标注、专家仲裁、理由与证据留存、标注者漂移监控和版本化。验证层检查 schema、重复、泄漏、类别分布和安全，再用小规模 SFT 或代理任务看学习曲线与切片表现。模型辅助可用于预标和风险排序，但不能用未经验证的分类器自动判定最终质量。发布数据卡，记录来源、指南版本、一致性、已知偏差和不适用场景。