服务能力|数据服务基础能力之元数据管理


服务能力|数据服务基础能力之元数据管理
文章图片
服务能力|数据服务基础能力之元数据管理
文章图片
一、业务背景1、应用场景【服务能力|数据服务基础能力之元数据管理】在多变的数据服务场景中 , 应用中常见如下的业务需求 , 通过对多种数据结构的灵活组合 , 快速实现业务模型构建 , 整体示意图如下:
像常用的画图工具 , 左边提供基础图形库 , 中间是画布 , 右边是组件的控制细节 , 对比到这里的逻辑如下:

  • 字段面板:提供业务数据结构的字段映射 , 和常规字段类型配置 , 用来支撑组合面板的表单配置 。
    • 数据结构:对现有业务结构做映射 , 可能是文件、数据表、JSON等 , 生成相对标准的字段选项;
    • 拓补字段:维护一批基础的字段类型 , 用来做拓补操作 , 完善整个业务结构;
  • 组合面板:承载字段的组合管理 , 生成新的数据结构 , 根据业务场景 , 完成底层数据的抽取存储或者API服务生成 。
    • 业务主体:通过业务需求的判断 , 明确面板支撑的业务属性 , 通过基础结构组合新的业务主体;
    • 组合结构:面板上呈现的字段 , 是多个业务结构的抽取 , 即不同业务结构中的部分字段组合;
  • 规则面板:对组合面板上字段进行规制设定 , 常见涉及:描述 , 类型 , 默认值等 , 对面板字段进行相对统一的标准化管理 。
    • 描述信息:对于组合面板上的字段描述 , 也可以是原有映射的结果 , 作为新业务主体的属性说明;
    • 类型维护:复杂的环节 , 不同数据类型在不同的存储中处理方式不同 , 需要统一维护类型存储映射;
    • 业务规则:对于新的业务主体 , 设置属性的规则 , 可以是:唯一性 , 默认值 , 等等;
2、构建服务基于上述功能的实现 , 可以快速实现以下服务能力 , 通常应用在业务多变的场景中:
  • 数据主体构建:通过组合面板的结构生成 , 快速完成相关数据的抽取和存储 , 作为新的业务场景中的主体数据 。
  • 服务API生成:在数据服务中 , 直接通过配置 , 生成API服务能力 , 并控制参数的响应结构 , 这种情况通常会以实时查询的方式处理 。
  • 数据智能分析:在数据分析场景中 , 侧重统计的结果 , 基于字段和图表结构 , 生成相应的统计分析任务 , 灵活管理分析报表 。
这里是简述相对单一的应用服务 , 如果把这里的流程分段放大 , 在整个数据服务体系下 , 就是围绕元数据管理的复杂的基础系统:围绕数据结构映射 , 进行元数据标准化管理 , 在此基础上二次组织数据 , 快速响应业务需求 。 在这样的流程下 , 可以快速建立业务链路 , 提供高效的服务能力 , 降低试错的成本 。
二、元数据概念1、基础描述从定义上说 , 元数据(Metadata)即描述数据的数据 , 但是在实际使用的时候 , 还是存在很多细分的概念 , 看下面的案例:用户性别;
从细分角度看 , 可以对上面数据进行两块划分 , 即业务层与技术层:
  • 业务层:名称.释义.说明.值类型;
  • 技术层:路由库.路由表.存储类型.值类型;
这里的分层只是描述的侧重点 , 业务层偏向应用端 , 技术层偏向底层系统的交互和实现 , 在对性别的描述上都是核心维度 。
所以从本质上看元数据 , 介于系统和业务中间 , 提供双方都能明白的语义和逻辑 , 可以更加高效的支撑数据的业务价值 。
2、血缘关系上面是从单个指标看元数据的结构 , 如果从整个链路上看 , 就会形成层级线路 , 通常称为血缘关系:
从上层业务侧追溯到底层结构 , 形成血缘关系的概念 , 概念本身并不重要的 , 背后的核心是链路的管理 , 链路上的节点(中间实体)是通过多种计算手段生成;
如果某个节点数据一旦出现质量问题 , 则需要根据这里的链路关系进行逐级向底层排查 , 完成问题修复后 , 还需要根据关系向上逐级修复清洗;如此通过血缘关系进行数据质量的分析和把控 。
3、业务价值元数据管理是一个持续又漫长的过程的 , 任何系统的搭建都需要业务来衡量其存在的价值 , 其核心逻辑在于:统一标准化管理元数据信息 , 规范业务层的定义 , 并通过技术层面快速定位数据 , 自动化抽取数据 , 灵活支撑业务应用 。