『美好,一直在身边』360金融首席架构师王安滨:日处理百亿数据背后的秘诀


『美好,一直在身边』360金融首席架构师王安滨:日处理百亿数据背后的秘诀
本文插图
王安滨 , 360金融首席架构师 , 数据中台负责人 , 拥有近20年大数据分析和分布式计算架构经验 。
2019年是数据中台从概念升级至大规模应用的元年 , 对科技公司应用数据的技术能力和对数据资产的管理能力提出了考验 。 作为企业的基础平台 , 数据中台贯彻了整个数据生命周期 。 然而究其根本 , 数据中台不是一门技术 , 而是一种数据治理的方式 , 是把原来分散在业务系统中的各种数据进行集中管控 , 统一分发 , 从而真正的将组织积累的数据变成流动资产 , 进而变数据为生产力 。
如果要为数据中台贴上标签 , 毫无疑问是业务导向 。 数据中台由需求驱动 , 功能在于为前台业务创造数据产品能力 , 从而实现数据价值 。 而这恰恰又是数据中台以终为始 , 基于前台业务系统或BI分析的数据需求的价值导向 。 在360金融数据中台首席架构师王安滨看来 , 数据中台的核心使命是实现数据价值向业务价值的转换、促进社会升级、让公众的生活更便利 。
数据中台究竟是什么?如何贯穿不同业务起作用?从数据到社会整体便利程度增强 , 中间要经历怎样的转化途径 , 王安滨进行了如下解答 。
以“用户为中心”的数字化转型
数据中台被誉为大数据的下一站 , 核心思想是数据共享 。 不同的公司提出了不同的概念和定义 , 对360金融而言 , 围绕用户需求实现数据价值向业务价值的转化是中台的核心使命 。
数据中台是什么?
王安滨:数据中台是数据平台发展到一定阶段的必然产物 , 也是企业级数据能力泛化的服务体系 , 其最现实的价值之一 , 是为企业各业务线提供快速复制的数据能力 。 但因为数据中台的最显著标签是业务驱动 , 而不同行业、不同企业的业务也不尽相同 , 因此数据中台都是各家企业自身业务与企业发展阶段的产物 。 数据中台并不是标准化产品 , 而是一种数据思维的集中体现 , 内部架构依据不同行业的业务需求有不同的设计 。
对于360金融来说 , 我们将其简单定义成 , 能够将数据有效组织并将数据作为业务价值进行转化的过程 , 简言之数据中台是将数据价值转化为业务价值的一个过程 。
在这样的定义下 , 数据价值的作用更好理解 。 业务价值最直观的表达是业务上的突破或者是增长 。 具体来说比如广告投放点击率或者转化率的提升 , 运营能力的提升 , 用户关系维护的提升 , 以及用户黏度的提升等 。 另外还包括基于对整个市场的预测和判断 , 提供战略和舆情上的支持 。 这些都是由数据中台 , 通过数据的组织来进行研究 。
数据中台解决了哪些问题?
王安滨:在我们的定义中 , 首先数据中台解决了数据到业务价值的整体提升 , 这是最核心的结果 。 没有中台的话 , 无法快速、高效的达到这样的结果 。 第二 , 没有数据中台的话数据资产无法完全资产化 , 数据质量便无法保证 。 第三 , 整个智能化资产没法进行有效合理性的复用 , 包括人员能力、运营能力、策略能力和对产品的理解没法进行复用 , 所以中台需要解决这个事情 。 再者 , 就是降低了用户使用数据的门槛 。
同时 , 数据中台是在数据中间层提供服务的一个环节 , 其本身也在创造价值 , 甚至会产生价值完整的一个闭环 。 但是多数情况下 , 数据中台是在提供核心服务 , 核心的数据支持 。 我们可以把它比喻为弹药 , 甚至可以说是已经入膛的弹药 , 随时准备为公司的其他团队提供服务 。
你和你的团队主要做了哪些工作?
王安滨:我们的工作主要有两方面:一是按照不同的业务需求 , 建立不同的数据仓库或者主题库 。 二是统一并优化同一口径的计算方式 。
从另外一个角度讲 , 整个大数据隐私的安全需要统一的优化和治理 , 什么样的数据应该以什么样的形式进行合理的存储、处理、收集和使用 , 都有统一规划的 。 目前 , 我们每天大概会处理4亿左右用户的数据 , 涉及上百亿规模业务量 。 我们的目标只有一点 , 就是公司无论是谁要的数据 , 一定是从这个团队去拿 。 我们团队的数据是第一口径 , 也是唯一的口径 , 保证数据的统一非常重要 。