像梦一样奔驰|读《数据中台-让数据用起来》笔记整理( 八 )


还是以电商平台来举例 , 存在有用户中心 , 订单中心 , 配速中心 , 支付中心等多个微服务 。 那么这个时候对于用户信息的完整视图可能存在两种情况 。
1.全部在用户中心完成维护并共享
2.基本信息在用户中心 , 地址信息在配送中心 , 银行账号信息在支付中心
对于情况一我们看到用户中心本身就需要自己完成主数据管理需要的一些关键职能 , 包括元数据管理 , 数据质量管理 , 数据服务能力开放等 。 但是要主要用户中心仍然是业务中台的一部分内容 。 而对于情况二可以看到 , 要提供完整数据视图必须进行数据汇聚 , 这个就到了数据中台 , 至少要在ODS层完成这个事情 , 这时候也不需要太多复杂的数仓建模 , 直接开放ODS库能力为服务即可 。 但是我们看到你仍然需要进行数据安全 , 数据质量管理 , 而这些管理就需要在数据中台具备这样的能力 。 同时数据中台也具备了MDM应该具备的部分能力 。
基于以上思考可以看到
当大部分基础数据的统一视图能力本身就能够在业务中台单个微服务提供的时候 , 主数据管理职能基本都可以在业务中台就完成 , 反之则需要在数据中台完成 。 建议是在数据中台的数据资产体系的贴源ODS层增加一个统一数据视图 , 即这部分往往是对多个贴源ODS表的进一步整合 , 形成完整的统一数据视图和数据服务能力 。
注意 , 在数据标准里面提到了参考数据 , 在我们原来谈的时候经常会将参考数据作为主数据的一部分 , 而现在将参考数据从主数据里面拿出 。 参考数据是用于将其他数据进行分类或目录整编的数据 , 可以简单的理解为数据字典 。 而对于主数据管理也再列下我们经常谈到的核心管理内容 。
主数据相关标准和规范设计主数据建模主数据梳理和集成主数据质量管理建立灵活的主数据共享服务建立主数据维护流程(创建 , 变更 , 废弃等)实际上大的主数据管理概念是包括了元数据管理 , 数据质量管理的 , 书里面单独分开描述也可以 。 而对于书里面的8.7.9提到的生命周期管理内容 , 个人感觉是很狭隘的一个理解 , 即只是将数据分为不可恢复 , 可恢复来谈了数据存储的生命周期 。 实际上数据生命周期管理是一个对数据完整的从产生 , 集成 , 变更 , 废弃 , 删除完整过程的管理 , 里面既包括了自动化流程 , 也包括了人工流程 。
数据服务体系的建设
要注意一点 , 对于数据中台和数据仓库的区别 , 其中有一个关键点 , 就是数据中台会将数据能力以数据服务的方式开放出去 , 直接满足业务应用的需求 。 而不仅仅是用于上层的数据报表和数据分析决策 。 数据服务体系本身就是将数据变为一种服务能力 , 通过数据服务让数据参与到业务之中 , 激活整个数据中台 , 这也是数据中台的价值所在 。
数据服务是对数据进行计算逻辑的封装(过滤查询 , 多维分析和算法推理等计算逻辑) , 生成API服务 , 上层数据应用可对接数据服务API , 让数据快速应用到业务场景之中 。 数据服务是数据中台能力的出口 , 是支持数据应用的重要支撑 。 数据服务本身可以分为三类
基础数据服务标签画像服务算法模型服务可以看到对于标签画像和算法模型服务 , 都需要经过内部大量的算法计算后给出 , 实际已经不是获取原始的基础数据 , 而是获取通过原始基础数据加工和计算的结果 , 是更加粗粒度的数据 。
我们再看下总体架构图里面的数据服务体系这层的内容 , 实际上类似数据服务总线 , 数据服务网关 , 数据服务的能力开放平台 。 即核心还是实现对数据服务的全生命周期管理 , 包括输入的注册接入 , 数据的订购消费 , 数据安全 , 数据流控等各方面的内容 。
数据服务的核心价值主要包括四点
确保数据在业务层的全域流通降低数据接口的重复建设保障数据获取的及时性和稳定高效使能数据能力扩展其中对于确保数据在业务层全域流通是一个核心价值所在 。 数据服务可以对数据中台的全量数据进行封装透出 , 让中台的数据支撑数据业务 , 加速数据业务化的流程;数据业务产生的反馈数据可以回流到数据中台中 , 不断优化现有的数据服务 , 让数据在业务中持续流动 。