数据分类与治理
本文档定义数据中台在元数据、原始层、标准事件层、事实层和供数层上的治理要求。
1. 目标
治理目标不是“把所有数据都放进库里”，而是：
- 知道每类数据是什么
- 知道谁可以访问
- 知道保留多久
- 知道如何追溯和清理
2. 数据分层分类
2.1 Meta Layer
典型对象：
- 项目(Project)
- 业务
- 区服
- API Key
- schema registry
- dataset catalog
分类建议：
- 默认
L2 内部 - 涉及凭证哈希、授权边界时按
L3 敏感处理
2.2 Raw Layer
典型对象：
- 原始 TLog 文件
- 原始事件 payload
- 批次元数据
- 重放依据
分类建议：
- 默认
L3 敏感 - 若包含更高敏感字段，按
L4 机密的访问要求控制
2.3 Standard Event Layer
典型对象：
dc_events_{game_id}_{region}- 标准事件导出集
分类建议：
- 默认
L3 敏感 - 原则上只暴露必要公共字段和
properties
2.4 Domain Fact Layer
典型对象：
- 充值订单
- 角色档案
- 登录事实
- 道具流水事实
分类建议：
- 默认
L3 敏感 - 涉及金额、订单、客服检索信息时严格审计
2.5 Ops Layer
典型对象：
- checkpoint
- replay job
- quality result
- export job
分类建议：
- 默认
L2 内部 - 如包含错误样本或原始 payload 引用，则按
L3控制
3. 分类级别
| 级别 | 名称 | 定义 | 典型对象 |
|---|---|---|---|
L1 | 公开 | 可公开说明的信息 | 对外说明文档、非敏感系统指标 |
L2 | 内部 | 仅内部使用，不含直接识别信息 | 元数据、作业状态、公开统计 |
L3 | 敏感 | 包含用户、设备、订单、业务行为信息 | 标准事件、事实层、原始日志 |
L4 | 机密 | 凭证、密钥、强敏感原文 | API Key 原文、数据库密码、Webhook |
4. 典型资产清单
| 资产 | 所在层 | 分类 | 访问建议 |
|---|---|---|---|
dc_game_config | Meta | L2 | 平台研发只读 |
dc_zone_config | Meta | L2 | 平台研发只读 |
dc_api_keys / 哈希 | Meta | L3 | 最小权限 |
| 原始 TLog 文件 | Raw | L3 | 仅接入与审计可读 |
| 原始事件 payload | Raw | L3 | 仅接入与重放可读 |
dc_events_* | Standard Event | L3 | 供数和分析按范围读取 |
fact_charge | Fact | L3 | 客服、BI 按最小范围读取 |
ops_replay_job | Ops | L2 | 运维与数据平台可读 |
5. 敏感字段治理
5.1 常见敏感字段
| 字段 | 建议分类 | 处理要求 |
|---|---|---|
account_id | L3 | 不在通用日志中明文打印 |
device_id | L3 | 对外展示时脱敏或哈希 |
ip / ip_address | L3 | 展示脱敏，导出受控 |
order_id | L3 | 仅对授权业务开放 |
api_key | L4 | 不落明文，存哈希 |
5.2 日志与排障要求
不允许：
- 在应用日志中打印完整 API Key
- 在普通告警消息中打印完整 payload
- 在非授权导出中暴露原始敏感字段
6. 权限矩阵
| 角色 | Meta | Raw | Standard Event | Fact | Ops |
|---|---|---|---|---|---|
platform_admin | 读写 | 读写 | 读写 | 读写 | 读写 |
ingestion_service | 只读必要配置 | 写入 | 写入 | - | 写入 |
serving_service | 只读 | - | 读取 | 读取 | 只读 |
bi_consumer | - | - | 范围读取 | 视授权读取 | - |
customer_service_app | - | - | - | 范围读取 | - |
7. 保留与归档策略
| 层级 | 在线保留建议 | 归档建议 |
|---|---|---|
| Meta | 长期保留 | 定期备份 |
| Raw | 30 到 180 天，视排障与重放需求 | 对象存储归档 |
| Standard Event | 180 到 730 天 | 冷存或导出归档 |
| Fact | 365 到 1095 天 | 按业务合规要求归档 |
| Ops | 90 到 365 天 | 关键审计长期保留 |
8. 血缘追踪
每条标准事件或事实记录至少应能追溯：
- 上游来源
- 批次或文件
- 接入时间
- 标准化规则版本
- 重放或补数任务
推荐字段：
raw_refbatch_idingest_timeevent_versionjob_id
9. 数据质量最小要求
标准事件层至少校验：
- 主键是否稳定
event_time是否可解析ingest_time是否存在game_id / region / zone_id是否合法- 必填标识是否缺失
事实层至少校验：
- 订单状态与金额一致性
- 角色主键唯一性
- 事件到事实的映射完整性
10. 清理原则
清理动作必须：
- 有保留策略依据
- 可追溯
- 不影响已发布 dataset 的承诺范围
- 在必要时先归档再删除
11. 一句话原则
数据中台的治理边界不是围绕 TLog，而是围绕 Meta / Raw / Standard Event / Fact / Ops / Dataset 六类资产展开。