数据难度分层怎么验证?

核心判断

难度分层不是给样本算一个loss就结束，而是提出“哪些样本对当前学习者更难”的可检验假设。可以组合人工规则、专家标注、模型正确率、置信度、解题步数、长度和稳定性，但训练loss或PPL只反映当前模型与表示下的拟合程度，也会被噪声、稀有词和长度影响，不能直接等同于内在难度。验证要看与人工判断的相关性、各层可分性、跨checkpoint稳定性及课程训练是否真的有增益。

机制与边界

人工侧先定义难度维度，例如知识门槛、推理步数、歧义、噪声和所需工具，再让多名标注者在锚样本上校准，报告一致性和分歧。自动侧可用多个模型或多个checkpoint的成功率、margin、重复采样方差与所需token数，避免单模型偏见。长度、PPL和loss可以作为特征，却要做长度归一化并剔除坏样本。分层最好输出连续分数和置信区间，再按业务需要切桶，而不是假装边界天然存在。

课程学习是否有效是实验问题。Bengio等人的工作提出从易到难可改善优化的假设，但后续研究显示在标准基准上随机顺序常可达到相当甚至更好结果，收益更可能出现在训练预算受限或数据有噪声等条件下。因此不能要求课程一定显著优于随机，也不能把最终不低于基线当作定义。若课程只加快早期收敛、最终相同，也可能有系统价值；若最终更差，需要检查难度估计、采样偏差或难例暴露不足。

难度还会随模型变化。小模型不会的题，大模型可能很容易；训练早期的难例，后期可能变成已学会样本。可用动态分数，但动态更新会引入非平稳采样和额外计算。数据质量与难度也要分开，错标、乱码或不可回答样本的高loss不代表有教学价值。若目的是评测题库分级，还要防止用同一模型既打分又被评测，否则模型偏好会固化进难度标签。

工程验证

建立人工锚集并按维度标注，测自动分数与人工等级的秩相关、分类一致性和分歧样本。对不同模型、随机seed和checkpoint重算，报告层间分布、稳定率与迁移性。训练实验至少比较随机、从易到难、从难到易和按分数重采样，固定总token和更新次数，记录早期速度、最终指标、长尾与校准。若某层主要由长文本或噪声组成，要重构特征。只有多seed结果稳定且失败样本可解释，分层才可用于正式课程。