业务|数据中台建设

编辑导语:数据中台承担着一定的实现企业战略目标的使命,数据中台是处于业务前台和技术后台的中间层。这篇文章从数据中台的定义出发,详细地问我们介绍了数据中台的建设规划,推荐对数据中台感兴趣的盆友来看看。
业务|数据中台建设
文章插图
一 、什么是数据中台1. 数据中台的定义数据中台不是数据平台,数据中台是处于业务前台和技术后台的中间层,是对业务提供的数据能力的抽象和共享的过程,数据中台通过将企业的数据变成数据资产,并提供数据能力组件和运行机制,形成聚合数据接入、集成、清洗加工、建模处理、挖掘分析,并以共享服务的方式将数据提供给业务端使用,从而与业务产生联动,而后结合业务系统的数据生产能力,最终构建数据生产>消费>再生的闭环,通过这样持续使用数据、产生智能、反哺业务从而实现数据变现的系统和机制。
业务|数据中台建设
文章插图
数据生产>消费>再生闭环图
2. 为什么要建设数据中台数据中台建设的背景跟企业的业务发展阶段和信息技术建设阶段紧密结合,不单单要投入大量的建设人力成本,还有有配套的组织制度、运营团队配合为他保驾护航。所以为什么建设数据中台,希望能达成什么样的目标,对不同企业都来说都是非常重要数据中台建设的起点。行业里,数据中台的主要原因有以下三点:
(1)产品矩阵庞大,响应不及时,响应管理混乱
业务发展迅速,产品矩阵庞大,企业数据平台的服务能力有限,响应不及时,同时响应管理混乱,导致数据服务实效延迟,及服务体验较差,影响到业务端数据使用体验和展业效果,有必要进行统一的、模块化、标准化的服务能力管理和输出,实现对业务端的数据需求的精准满足和高效响应。
(2)烟囱式建设数据平台,大量源被浪费
由于业务快速发展和缺乏对整个产品矩阵的数据产品体系进行整体规划,就会出现多个业务线烟囱式建设各自的从数据接入>数据集成>数据开发>数据应用>数据治理等阶段的产品,出现大量的重复建设,导致计算、开发人力、运维人力、存储等资源的重复浪费。
对于这类现状在告诉发展阶段的企业是常见状态,有必要对整个产品矩阵做整体的数据中台能力的规划,让业务的数据需求在不断增加的情况下,企业的有整套的可复用的数据能力库及配套机制,支持业务正常运转,节省研发成本。
(3) 数据治理的需要
面对业务已经沉淀的大量数据,逐步形成了企业的数据资产。而这些数据资产如何成为可持续使用的,为企业带来价值的数据,需要数据治理进行提升数据质量,比如设计数据质量校验的规则和使用流程,设计数据管控权限,数据如何安全输出及共享的设计等,如何在整体上发挥出数据的协同效应,为业务提供更高价值的数据服务链路,数据中台可以将这些数据能力整合到一起,对业务端提供稳定的持续的服务能力。
二、数据中台的架构数据中台建设是个宏大的系统工程,前期的整体架构规划在整个项目中尤其重要,接下来按照数据活动进行分层,分为底层服务、数据接入、数据整合、数据挖掘分析、业务应用、数据服务管理六层,并全程贯穿数据安全管控活动。
接下来将分别简单阐述:
业务|数据中台建设
文章插图
数据中台架构图
1. 底层服务底层服务层重点为整个数据中台,从数据接入层到数据安全管控全流程的数据活动,提供统一的数据存储资源、计算引擎、数据处理中间件服务,增强了服务器资源的有效调度和统一管理。
2. 数据接入数据接入层提供统一的数据接入平台,根据数据采集的业务场景,平台提供了数据收集的工具及解决方案,让数据采集>数据传输>数据存储>数据资源管理全链路都可自动化完成,并实现对活动任务的自动化监控。
3. 数据整合数据整合层提供统一数据处理及标签/模型开发服务。在整合层的数据需求应当来自企业的数据使用场景对数据进行建模,生成如标签管理、数据仓库这样的服务平台,为企业的数据团队/业务团队使用数据提供一个高效的整合后的数据源。并在这一层对数据进行治理,例如编码规范、主题域划分,表模型规划、数据质量校验规则设计等都在这一层完成,通过这些模型、规范及平台的协同作用,为企业提供可高效获取并质量可靠的数据。