训练数据怎么采集和预处理?

数据来源与治理前置

常见来源包括获得许可的网页、书籍/论文、代码、问答、业务数据和合成数据。采集前先记录许可证、用途限制、robots 协议、来源 URL、抓取时间与版本；robots.txt 是访问偏好协议，不等于版权授权。业务和用户数据还要做 PII、敏感信息与保留期限治理。

处理流水线

1. 原始数据不可变落盘，建立 lineage、内容 hash 和版本清单。
2. 解析正文、语言/格式识别、Unicode 规范化，去模板、导航、乱码和低信息片段。
3. 文档内、精确和近重复去重；MinHash/LSH 阈值是需按语料与误杀率校准的实验参数，不是固定 0.8–0.9。
4. 做质量、安全、许可证、PII 和恶意内容过滤，同时保留过滤原因和抽检样本。
5. 在切分后执行跨训练/验证/测试去重与 benchmark contamination 检查，避免评测污染。
6. 使用目标 tokenizer 分词，统计 token 长度、截断、字符覆盖、域和语言分布，再按目标能力设采样混合。

代码、网页、书籍比例和课程顺序都没有通用配置；应在固定 token 预算下做消融，观察目标任务、记忆、毒性和域覆盖。Wikipedia 等来源也不能直接标成“事实准确”，质量标签只代表筛选信号。最终产物需可追溯、可删除、可复现，并发布 data card。