导读
本栏目是一套「数据中台」的架构与设计文档(已做脱敏处理,用于个人复习)。数据中台是数据分析平台的上游数据底座:把多来源、格式不一的上游数据在入口处消化,沉淀为标准事件层,再通过受控 API 向 BI、运营、客服与查询 Agent 供数。
按阅读顺序建议:
- 项目深度拆解 —— 面向后端工程师的深度拆解:每个设计决策背后的「为什么」与可迁移的可靠性模式。
- 架构定位与目标设计 —— 平台定位、目标架构、关键架构决策与数据分层。
- DataCenter 架构设计文档 —— 全景架构:运行时服务、接入与写入链路、查询服务、存储与元数据、调度聚合、安全控制面。
- 产品架构说明 —— 从产品视角看能力地图、调用方画像与能力边界。
- 标准事件定义规范 —— 标准事件模型、命名、字段分类、时间语义与版本规范。
- 数据分类与治理 —— 数据分层分类、敏感字段治理、权限矩阵、保留归档与血缘。
- 供数规范 —— 对下游系统的正式供数方式与数据契约。
- 数据查询接口文档 —— 对外开放数据查询接口:聚合/自由查询/SQL/冷查询/异步导出。
- Doris 拉取流程 —— 从上游数仓增量拉取事件并标准化的完整流程。
- 补数与重放操作规范 —— 历史补数、事件重放与失败批次重试的规则。
- 查询 Agent 网关设计文档 —— 自然语言 / A2A 请求到标准查询入参的编排设计。
- 客服数据查询 Agent 设计文档 —— 面向客服场景的查询 Agent 落地设计。
说明:文档中的「game_a / region_a / dc.example.com / host.internal / <DC_API_KEY>」等为脱敏占位符;「DW」表示外部云数仓数据源。代码路径、表名(
dc_*/ga_*)、事件名、环境变量等保留原名。