文章图片
文章图片
一、业务背景1、应用场景【服务能力|数据服务基础能力之元数据管理】在多变的数据服务场景中 , 应用中常见如下的业务需求 , 通过对多种数据结构的灵活组合 , 快速实现业务模型构建 , 整体示意图如下:
像常用的画图工具 , 左边提供基础图形库 , 中间是画布 , 右边是组件的控制细节 , 对比到这里的逻辑如下:
- 字段面板:提供业务数据结构的字段映射 , 和常规字段类型配置 , 用来支撑组合面板的表单配置 。
- 数据结构:对现有业务结构做映射 , 可能是文件、数据表、JSON等 , 生成相对标准的字段选项;
- 拓补字段:维护一批基础的字段类型 , 用来做拓补操作 , 完善整个业务结构;
- 组合面板:承载字段的组合管理 , 生成新的数据结构 , 根据业务场景 , 完成底层数据的抽取存储或者API服务生成 。
- 业务主体:通过业务需求的判断 , 明确面板支撑的业务属性 , 通过基础结构组合新的业务主体;
- 组合结构:面板上呈现的字段 , 是多个业务结构的抽取 , 即不同业务结构中的部分字段组合;
- 规则面板:对组合面板上字段进行规制设定 , 常见涉及:描述 , 类型 , 默认值等 , 对面板字段进行相对统一的标准化管理 。
- 描述信息:对于组合面板上的字段描述 , 也可以是原有映射的结果 , 作为新业务主体的属性说明;
- 类型维护:复杂的环节 , 不同数据类型在不同的存储中处理方式不同 , 需要统一维护类型存储映射;
- 业务规则:对于新的业务主体 , 设置属性的规则 , 可以是:唯一性 , 默认值 , 等等;
- 数据主体构建:通过组合面板的结构生成 , 快速完成相关数据的抽取和存储 , 作为新的业务场景中的主体数据 。
- 服务API生成:在数据服务中 , 直接通过配置 , 生成API服务能力 , 并控制参数的响应结构 , 这种情况通常会以实时查询的方式处理 。
- 数据智能分析:在数据分析场景中 , 侧重统计的结果 , 基于字段和图表结构 , 生成相应的统计分析任务 , 灵活管理分析报表 。
二、元数据概念1、基础描述从定义上说 , 元数据(Metadata)即描述数据的数据 , 但是在实际使用的时候 , 还是存在很多细分的概念 , 看下面的案例:用户性别;
从细分角度看 , 可以对上面数据进行两块划分 , 即业务层与技术层:
- 业务层:名称.释义.说明.值类型;
- 技术层:路由库.路由表.存储类型.值类型;
所以从本质上看元数据 , 介于系统和业务中间 , 提供双方都能明白的语义和逻辑 , 可以更加高效的支撑数据的业务价值 。
2、血缘关系上面是从单个指标看元数据的结构 , 如果从整个链路上看 , 就会形成层级线路 , 通常称为血缘关系:
从上层业务侧追溯到底层结构 , 形成血缘关系的概念 , 概念本身并不重要的 , 背后的核心是链路的管理 , 链路上的节点(中间实体)是通过多种计算手段生成;
如果某个节点数据一旦出现质量问题 , 则需要根据这里的链路关系进行逐级向底层排查 , 完成问题修复后 , 还需要根据关系向上逐级修复清洗;如此通过血缘关系进行数据质量的分析和把控 。
3、业务价值元数据管理是一个持续又漫长的过程的 , 任何系统的搭建都需要业务来衡量其存在的价值 , 其核心逻辑在于:统一标准化管理元数据信息 , 规范业务层的定义 , 并通过技术层面快速定位数据 , 自动化抽取数据 , 灵活支撑业务应用 。
- 蜻蜓|存在了上亿年,被称为飞行之王的蜻蜓,为何有这么强的飞行能力?
- Google|苹果和谷歌被意大利罚款1, 000万,因收集用户数据不透明
- iPhone|iPhone13mini续航能力如何?结果出乎你的意料
- 超能力|反常?科学家拍到罕见画面:猩猩生吞一只懒猴,人类需要负责?
- 美团|极兔吞并百世,美团新增快递服务,中国快递行业即将大洗牌
- 超能力|研究警告,下一场太阳风暴可能会导致网络瘫痪?答案会是这样吗?
- 阿里巴巴|阿里巴巴:企业数据资产管理实践,附266页PPT下载
- 耐受性|乙肝在研新药RO7020531,1期数据公布,1名表面抗原下降超1 log10
- |唯一拥有光合作用能力的动物。
- 腾讯|数据安全厂商“全知科技”完成数亿元B轮融资