相机|数据仓库建设 —— 数据质量管理( 二 )

  • 数据指标体系没有和业务紧密结合 , 导致获取数据脱离实际业务需求;
  • 业务需求不够清晰 , 企业没有形成一套固定的业务流程;
  • 业务人员手动录入数据时容易发生错误 , 不能保证业务数据质量;
  • 企业没有规范数据存储规则 , 业务人员在执行一线业务时没有数据意识;
  • 企业业务数据样本量少 , IT人员发现不了业务人员录入的问题数据 。
  • 2.技术视角如果把企业整个数据流程做一个区域划分 , 业务人员执行的是生产和录入 , IT技术人员负责的是存储和输出 。 同样是企业数据体系中重要的一环 , 技术也会深刻影响数据质量 。
    • 数据存储模型设计有问题 , 导致数据库中存在大量重复数据;
    • 没有对数据进行处理 , 排除问题数据 , 导致数据准确性不足;
    • 数据接口配置出现问题 , 数据库获取不到最新业务数据;
    • 系统后台设计有问题 , 高峰期系统崩溃 , 导致数据丢失、错配 。
    3.管理视角在整个数据质量管理体系中 , 业务和技术人员负责的都是具体的执行 , 管理人员负责的则是“顶层设计” 。 如果一开始的顶层设计出现了问题 , 那么业务人员、技术人员再努力也会收效甚微 。
    • 管理人员没有数据意识 , 不注重数据质量的培养 , 只能凭借经验做事;
    • 没有统一规划企业各部门业务系统 , 导致数据指标不同 , 业务数据不能通用;
    • 没有处理好业务和技术人员之间的关系 , 导致两者缺少沟通 , 数据不能闭环;
    • 缺少数据质量的KPI指标 , 导致数据质量流程没有分工、责任制度 。
    数据质量评估
    企业数据闭环 - 派可数据 BI 可视化分析平台
    企业的数据有很多种利用方式 , 不同的利用方式有不同的质量评估方式 , 下面我们从目前在主流的用法 , 数据分析的角度来看待数据质量评估 。
    从一线业务执行产生数据存储 , 调取数据进行分析 , 再到分析结果对业务执行产生影响 , 这是一个完整的闭环流程 , 不管中间哪个环节出现问题都会影响到全部 , 更别提贯穿前后的数据 , 一旦数据质量出现问题 , 所产生的数据分析将直接影响业务执行 , 进而阻碍企业发展 。
    很多数据分析人员应该都遇到过这种情况 , 从数据库以及不同来源辛苦收集来的数据 , 分析了半天怎么都觉得结果有问题 , 研究了半天才发现是业务数据有问题 , 这半天的时间精力全都浪费在错误数据上 。
    如果企业数据质量很好 , 数据分析人员可以直接取数据分析 , 结果也可以更好的反馈给企业 。 当业务人员、技术人员、分析人员还有管理人员都信任数据质量及其产生的数据分析结果时 , 那么企业发展时就会降低风险 , 缩短决策流程 , 提升工作效率 。
    数据质量管理
    数据质量管理阶段 - 派可数据 BI 可视化分析平台
    和文章开篇提到的数据质量管理定义一样 , 数据质量管理是一个长期持续的 , 需要企业所有员工共同努力奋斗的解决方案 。 这个数据质量管理方案会贯穿业务数据从生产到利用的整个流程 , 将会给企业带来巨大增益 。
    1.数据规划企业管理人员必须先确定好数据质量管理体系的顶层设计 , 从思维的方向出发把企业文化变成数据驱动型文化 , 然后提前做好数据规范 , 将其融合到企业的KPI指标中 , 利用奖惩制度监督员工 , 把数据确立为企业的基石 。
    2.数据存储将企业原本拥有的业务信息系统以及其它不同来源的数据统一连接到数据仓库中 , 再经过ETL过程处理后 , 企业的数据质量就能飞速提高 。
    3.数据利用
    可视化分析 - 派可数据 BI 可视化分析平台?
    数据分析人员可以通过可视化分析功能 , 从图表直连数据仓库取数 , 实现流程的自动化 , 避免出现其他干扰 , 然后通过联动、钻取等功能实现不同图表之间的互动 , 深化可视化分析报表展现的数据量和深度 。
    4.形成闭环【相机|数据仓库建设 —— 数据质量管理】业务活动产生数据 , 分析人员利用数据判断出业务发展趋势 , 辅助管理人员对业务发展进行决策 。 在这么一个不断优化的闭环流程中 , 数据质量将会不断提高 , 逐渐将企业数据精细化到极致 , 进而产生变革 。