验证集分布：以部署目标为准

先确定验证集要代表什么

验证集不是机械地复制训练集分布，而是用来选择模型、阈值和超参数，因此应尽量代表部署时要优化的目标分布。

• 如果线上样本近似独立同分布，可在按类别分层后随机切分，使训练、验证和测试的类别比例接近。
• 如果同一用户、设备、病例或文档会产生多条样本，应按组切分，避免同一实体跨集合造成泄漏。
• 如果任务存在时间演化，应按时间切分：用过去训练、较新的时间窗验证、更晚的时间窗测试。
• 如果要声明跨域泛化能力，可以有意让验证集或测试集来自新地区、新设备或新业务域。

三个集合的关系

训练集用于拟合参数；验证集用于方案选择；测试集只用于最后一次或受控次数的泛化声明。验证集可以与训练集不同分布，但必须贴合要优化的部署目标。测试集是否与验证集同分布取决于最终声明范围；二者同分布本身不是泄漏，只有把测试样本、标签或测试结果用于调参和方案选择才是测试污染。

类别不均衡时，不应只追求三个集合比例完全相同。先保证每个关键类别有足够的验证样本，再按业务代价选择 macro-F1、PR-AUC、召回率、校准或分组指标。切分后还要检查重复样本、时间穿越、实体交叉和预处理统计量泄漏；标准化、特征选择和重采样只能在训练折内拟合。