火热的数据中台,是否终究一地鸡毛


火热的数据中台,是否终究一地鸡毛文章插图
在前面我写过关于数据中台 , 以及数据中台和大数据平台 , 业务中台区别的一些文章 。 今天准备再谈下对当下火热的数据中台建设的一些看法 。
要把这个问题谈清楚 , 我准备还是从企业最早的决策支持分析和BI系统入手 , 再谈BI系统到大数据平台的演进 , 最后再来谈数据中台建设 。 通过这个发展演进路线的分析可以方便我们更好的来观察数据中台建设是否真正存在相关的价值和意义 。
一个传统的BI技术架构
火热的数据中台,是否终究一地鸡毛文章插图
上图是我们经常会看到的一个BI系统技术架构 。 其中分为了数据整合层 , 数据服务层 , 应用分析层 , 信息展现层和数据管理层 。
数据整合层简单来说核心就是我们常说的ETL , 数据采集集成 , 数据清洗和转换;对于数据服务层重点是将标准数据按照主题进行组织 , 构建业务应用分析模型 。 数据服务层中涉及本身又涉及到几个关键的概念 , 其本身也是按数据抽象程度进行划分 。

  • ODS库:基本就是采集过来的清洗后的贴源数据库层
  • 数据集市:可以理解为面向一个业务域的数据整合和建模
  • 数据仓库:面向整个企业的跨域数据建模 , 更加强调维度和抽象性
而到了应用分析层 , 则是按照企业各个业务部门的分析需求形成不同粒度的分析数据 , 然后再通过前端展现层 , 各种展现报表 , 驾驶舱 , 仪表盘等进行信息展现 。
当然整个底层是数据管理层 , 即我们常说的元数据管理 , 安全管理 , 数据质量管理等基本的数据管控治理操作 , 覆盖数据应用的全生命周期 。
传统企业为何需要BI系统?
对于企业为何需要BI系统 , 我还得回到企业IT系统垂直烟囱式的建设模式上面来 , 并不是说这种模式不好 , 对于这样分业务域进行的系统建设反而是一种企业分而治之解决问题的方式 。
但是由于系统拆分建设 , 自然带来了系统之间集成和交互的问题 , 这个也是我前面文章经常谈到的传统企业SOA集成平台出现的背景 。 对于SOA或ESB总线虽然解决了系统间的数据或业务集成的问题 , 但是还有一个关键问题没有解决 , 即:
跨业务域或整个企业层面的业务数据分析和决策 。 这个事情显然不可能在一个业务系统里面完成 , 因为需要跨多个业务系统的数据整合才能够进行分析 , 因此我们就必须考虑采集和整合各个业务系统中的共享数据 , 形成一个完整的数据中心 , 然后再对数据进行建模和分析 , 最终满足我们的数据分析目标 。
BI系统建设仍然是企业战略目标和业务目标驱动
火热的数据中台,是否终究一地鸡毛文章插图
在企业进行战略或业务目标规划的时候 , 我们经常会谈到CSF关键成功要素和平衡记分卡 。 对于CSF源自于公司战略和核心竞争力 , 而CSF通过分解对应一套KPI指标体系 , 同时一个KPI指标可以属于多个 CSF 。
因此可以看到一个企业的战略或业务目标 , 往往可以分解到最下层的业务功能和操作指标 , 而这些指标往往依赖在我们企业经营的日常关键业务流程中 。 简单来说我们只要对这些关键指标进行监控和管理 , 那么我们就可以更好的评估和预测最终的企业战略目标能否达成 。
火热的数据中台,是否终究一地鸡毛文章插图
显然这些KPI指标不可能完全通过人工去处理和收集 , 企业在IT信息化建设到一定程度后你可以看到这些指标中的大部分已经可以通过系统进行自动采集和处理 , 并基于指标体系建设和维度建模自动进行聚合和关联分析 。
因此 , 企业到了一定程度就需要一套系统来支撑对上述指标的日常监控和分析操作 , 这些指标分析显然是跨当前业务系统的 , 需要整合到一个地方进行 , 即我们常说的BI类分析系统 。 通过BI系统的关键指标呈现和分析 , 我们可以更好的来监控 , 来预测企业经营指标的实现情况和趋势 。
我们经常谈业务驱动IT , 对于BI系统建设也是一样 , 如果没有前期的企业战略规划设计 , 企业的业务流程重组和优化设计 , CSF和BSC等工作的推进 , 往往BI系统就无法落地 。
大数据平台建设对于大数据平台建设出来了很多年 , 基本常用思路仍然是基于开源Hadoop框架进行定制企业自己的大数据开发和服务能力平台 。 如果用一个词来总结大数据平台这几年的发展情况 , 简单来讲就是不不温不火 。