大规模数据清洗自动化关键步骤

大规模清洗要以数据契约、精确主键和可回放状态为核心

入口建立数据契约和不可变原始层，记录 source、schema_version、event_time、ingest_time、event_id 与血缘。精确去重应优先使用上游生成的不可变 event_id，或由稳定业务键与规范化载荷构成幂等键；“用户 ID 加时间戳”在重试、并发和时间精度冲突下不能通用保证唯一。权威存储保存已处理 ID 或最终实体版本。

Bloom Filter 是近似成员查询结构，可能把从未见过的事件判断为“可能存在”。因此它只能作为预筛：判断不存在时可快速放行，判断可能存在时还要查精确状态；若直接丢弃命中项，会因假阳性误删新事件。Flink keyed state 可按去重键记忆已见事件，但窗口与 TTL 代表有限保留范围，过期后同一 key 会再次被视为新事件，所以必须明确业务去重范围、迟到数据和补数策略。

格式标准化统一编码、时区、单位、枚举和字段类型；异常值按物理约束、业务规则和分位统计识别，并区分真实极端值与错误；缺失值应标记缺失原因，按下游用途选择保留、填充或剔除，避免把填充值冒充事实。流程还要有 quarantine、质量指标、幂等写入、checkpoint、重放和数据版本。上线监控重复率、解析失败、规则拒绝、迟到量、状态规模和下游对账差异，并按来源切片抽检。