完整题目
请描述CPT（Continual Pre-training）任务中的典型数据处理流程，包括数据采集、清洗、去重、过滤低质量内容、格式标准化以及如何保证训练数据的时间序列一致性。
本文目录
核心判断
CPT数据处理要同时解决质量、重复、许可、时间切片和评测污染。典型流程是记录来源与抓取时间，解析正文，做语言和格式规范化，执行精确及近似去重，再做质量、安全、隐私和许可过滤，最后按目标领域混合并版本化。防止未来信息泄漏靠的是明确知识截止时间、事件时间或抓取时间规则，以及不可变快照和评测隔离，不是要求训练样本按时间严格排序。
机制与边界
采集阶段保留URL、来源、许可、抓取时间、内容哈希和解析器版本，便于追溯删除。清洗要去模板、导航、乱码、低信息密度和敏感数据。去重可分文档级、段落级与跨源近似匹配，因为重复会改变采样权重，也可能放大记忆。过滤器会带来领域和语言偏差，所以阈值不能直接照搬。格式标准化应保持语义和代码边界，并在token化前后抽样检查。混合比例要根据继续预训练目标、通用能力保持和数据质量做消融。
“时间序列一致性”要定义业务语义。若评测模拟某个历史时点，训练集只能包含截止日前可获得的信息；网页抓取时间不一定等于内容事件时间，更新页还需要版本快照。若是持续更新模型，可按批次建立增量清单和回滚点，并记录每个checkpoint看过的数据。训练时通常仍会打乱样本以改善优化，shuffle不会制造未来泄漏；真正的泄漏来自截止日后的内容、测试题复刻、答案页、同源近重复或元数据穿越。排序训练最多是一种课程或漂移策略。
工程验证
发布数据版本前生成数据卡，列出各来源token占比、时间分布、语言、去重率、过滤原因和许可状态。对保留与删除样本人工抽检，测过滤器精确率和召回；对评测集做精确、模糊、语义及代码片段匹配，并检查答案和解析页面。训练侧用不同混合、去重和时间采样方案做小规模ablation，比较领域困惑度、通用能力、记忆探针与目标任务。阈值由这些证据确定，不能把某个采样或过滤比例写成固定标准。
若CPT目标是学习随时间演化的领域，还可保留时间字段做分桶评测，观察旧知识保持与新知识获取，而不是把所有时间差异压成一个总体loss。这样才能区分更新有效和灾难性遗忘。
继续追问 · 3 个问题
- CPT中如何平衡新数据与旧数据的比例，避免灾难性遗忘
- 如何处理不同来源数据的时间戳不一致问题
- CPT与SFT的数据质量要求有何本质区别
换一种问法，检查是否真正理解
场景切入
假设你现在要给一个新闻App做CPT，每天都有大量新文章涌入，同时你还要保持模型对旧知识的记忆。你打算怎么设计数据处理的流程，确保新数据不会污染之前学到的知识？
层层追问
CPT的数据你是怎么准备的？……数据来源有哪些？怎么保证质量？……如果不同来源的数据格式不一样怎么办？……那时间上怎么处理，会不会让模型学到未来信息？
直球架构
请描述CPT任务中完整的数据处理pipeline，包括数据采集、清洗去重、质量过滤、格式标准化，以及如何保证数据的时间序列一致性。
练习口述回答 · 约4分钟（先30秒，再90秒，可继续展开）
- 30秒：质量、重复、时间和污染四条线
- 90秒：采集到混合的可追溯流程
- 边界：截止时间不等于严格排序
- 验证：数据卡、污染扫描与小规模消融
如果只给我三十秒，我会这样回答：CPT数据处理要同时解决质量、重复、许可、时间切片和评测污染。典型流程是记录来源与抓取时间，解析正文，做语言和格式规范化，执行精确及近似去重，再做质量、安全、隐私和许可过滤，最后按目标领域混合并版本化。防止未来信息泄漏靠的是明确知识截止时间、事件时间或抓取时间规则，以及不可变快照和评测隔离，不是要求训练样本按时间严格排序。
如果有九十秒，我会把机制讲清楚。采集阶段保留URL、来源、许可、抓取时间、内容哈希和解析器版本，便于追溯删除。清洗要去模板、导航、乱码、低信息密度和敏感数据。去重可分文档级、段落级与跨源近似匹配，因为重复会改变采样权重，也可能放大记忆。过滤器会带来领域和语言偏差，所以阈值不能直接照搬。格式标准化应保持语义和代码边界，并在token化前后抽样检查。混合比例要根据继续预训练目标、通用能力保持和数据质量做消融。
继续展开时，我会补上容易混淆的边界。“时间序列一致性”要定义业务语义。若评测模拟某个历史时点，训练集只能包含截止日前可获得的信息；网页抓取时间不一定等于内容事件时间，更新页还需要版本快照。若是持续更新模型，可按批次建立增量清单和回滚点，并记录每个checkpoint看过的数据。训练时通常仍会打乱样本以改善优化，shuffle不会制造未来泄漏；真正的泄漏来自截止日后的内容、测试题复刻、答案页、同源近重复或元数据穿越。排序训练最多是一种课程或漂移策略。
落地时我会这样验证。发布数据版本前生成数据卡，列出各来源token占比、时间分布、语言、去重率、过滤原因和许可状态。对保留与删除样本人工抽检，测过滤器精确率和召回；对评测集做精确、模糊、语义及代码片段匹配，并检查答案和解析页面。训练侧用不同混合、去重和时间采样方案做小规模ablation，比较领域困惑度、通用能力、记忆探针与目标任务。阈值由这些证据确定，不能把某个采样或过滤比例写成固定标准。
若CPT目标是学习随时间演化的领域，还可保留时间字段做分桶评测，观察旧知识保持与新知识获取，而不是把所有时间差异压成一个总体loss。这样才能区分更新有效和灾难性遗忘。