完整题目
请描述你在项目中所进行的数据预处理和清洗工作，包括数据格式转换、去噪、增强、采样等关键步骤及其目的。
用真实项目数据填写清洗与监控闭环
经历部分必须使用候选人的真实数据源、规模、字段和工具。可按【原始来源与用途】【质量画像】【转换与清洗】【采样或增强】【验证与监控】组织。先保留不可变原始层并记录版本、时间、许可和处理代码，再建立 schema、主键、值域、缺失、重复、语言、长度、隐私与内容安全画像。
格式转换应统一编码、时区、单位、字段类型和消息结构；去噪包括精确或近似重复、模板垃圾、乱码、低质量 OCR、敏感信息和无权使用内容；增强或重采样必须服务于已观察到的覆盖缺口，并保持训练、验证和测试隔离。每个步骤都要输出前后数量、拒绝原因和抽检样本，不能只说“清洗后质量更好”。
上线后的数据漂移监控应比较当前窗口与基线窗口，按字段类型选择 PSI、KS、Jensen-Shannon、Wasserstein、类别占比、缺失率、重复率、约束失败率等指标，并结合业务表现与人工复核设阈值。阈值由历史波动和风险成本校准，不是看到任意距离变化就自动增量训练。Self-RAG 是让生成模型按需检索并用反思 token 评价检索与生成的 RAG 方法，不是通用数据漂移检测或自动清洗触发器。
继续追问 · 3 个问题
- 如何定义和量化"脏数据"，有没有具体的bad case例子
- 数据增强后如何验证没有引入分布偏移
- 如果数据量极大（TB级），如何设计高效的数据处理pipeline
换一种问法，检查是否真正理解
场景切入
假设我们有个电商客服场景，用户订单日志是Excel，客服对话是API返回的，还有些PDF解析的。这些数据格式五花八门，你要把它们统一成能训练模型的数据集，会怎么做预处理？
层层追问
你拿到原始数据后，一般先做什么处理？……那去噪你用什么方法？……如果有些噪声是语义上的，比如广告内容，规则过滤不好使，你会怎么办？
直球架构
详细说说你在项目中数据预处理和清洗的完整流程，包括格式转换、去噪、增强、采样这几个关键步骤，每一步的具体方法和你为什么这么做。
练习口述回答 · 30秒速答 + 90秒主答 + 完整展开
- 用真实数据源和业务目的限定回答
- 建立原始层、schema 与质量画像
- 说明转换去噪采样和增强的依据
- 用分布与约束指标监控漂移
- 澄清 Self-RAG 的真实作用边界