跳到主要内容

导读

本栏目是一套「数据中台」的架构与设计文档(已做脱敏处理,用于个人复习)。数据中台是数据分析平台的上游数据底座:把多来源、格式不一的上游数据在入口处消化,沉淀为标准事件层,再通过受控 API 向 BI、运营、客服与查询 Agent 供数。

按阅读顺序建议:

  1. 项目深度拆解 —— 面向后端工程师的深度拆解:每个设计决策背后的「为什么」与可迁移的可靠性模式。
  2. 架构定位与目标设计 —— 平台定位、目标架构、关键架构决策与数据分层。
  3. DataCenter 架构设计文档 —— 全景架构:运行时服务、接入与写入链路、查询服务、存储与元数据、调度聚合、安全控制面。
  4. 产品架构说明 —— 从产品视角看能力地图、调用方画像与能力边界。
  5. 标准事件定义规范 —— 标准事件模型、命名、字段分类、时间语义与版本规范。
  6. 数据分类与治理 —— 数据分层分类、敏感字段治理、权限矩阵、保留归档与血缘。
  7. 供数规范 —— 对下游系统的正式供数方式与数据契约。
  8. 数据查询接口文档 —— 对外开放数据查询接口:聚合/自由查询/SQL/冷查询/异步导出。
  9. Doris 拉取流程 —— 从上游数仓增量拉取事件并标准化的完整流程。
  10. 补数与重放操作规范 —— 历史补数、事件重放与失败批次重试的规则。
  11. 查询 Agent 网关设计文档 —— 自然语言 / A2A 请求到标准查询入参的编排设计。
  12. 客服数据查询 Agent 设计文档 —— 面向客服场景的查询 Agent 落地设计。

说明:文档中的「game_a / region_a / dc.example.com / host.internal / <DC_API_KEY>」等为脱敏占位符;「DW」表示外部云数仓数据源。代码路径、表名(dc_* / ga_*)、事件名、环境变量等保留原名。

加载评论中...