『InfoQ』8 亿用户的网易云音乐是怎样建设数据中台的?( 二 )
现阶段 , 他们并不追求一套大而全的体系 。
据悉 , 网易云音乐的业务场景 , 从横向看 , 有音乐、直播、K 歌等产品线 , 从纵向看 , 包括增长、营收、平台等业务职能线 。 虽然网易云音乐的业务线和团队众多 , “但我们的中台体系实际上是在同一套规范和标准下逐步接入业务的 , 而非反过来面向业务去设计多种架构” 。 这中间存在一些需要适配的地方 。 总的来说 , 其目标是尽可能抽取更多的共性 。
朱一飞坦承 , “想实现这一点并不简单 , 网易云音乐本身产品交互层面相对其他产品的复杂性 , 独特的账号体系都对我们提出了挑战 。 ”
另一方面 , 在数据与业务结合的中间层 , 即中台赋能业务的部分 , 团队的灵活性会高一些 , 比如针对市场的新增目标 , 或会员的营收目标 。 “我们会单独组建团队专门搭建针对性的业务数据服务及产品 , 提供一站式解决方案 , 类似于一支快速反应部队能随时快速解决战斗 。 ”他说 。
4
网易云音乐的数据中台架构
据朱一飞介绍 , 网易云音乐数据中台架构包含几个层:
本文插图
最底层——基础设施层
基础设施层包括资源环境和平台工具两部分:资源环境是依赖网易杭州研究院提供的大数据集群、容器化环境、底层储备组件等 。 平台工具主要是自研的提供离线、实时、算法三大方面开发能力的一站式开发环境 。
第二层是数据层
数据层即网易云音乐的 OneData , 包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心 。
第三层是服务层
服务层即网易云音乐的 OneService 。 它提供不同层级和粒度的数据 API , 包括从最底层的任务执行调度能力 , 到最面向应用的人群圈定的各类服务能力 。 而服务中的公共部分 , 包括权限 & 稽核模块、RPC 框架、服务发现等都是依托网易云音乐技术中心的统一框架 。
最上层是产品层
如前文所述 , 他们组建了一支快速反应部队 , 针对一个个核心业务问题(增长、营收、版权)搭建了对应数据产品 , 实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环 。 能够实现快速反应 , 主要是因为依赖上游的统一数据服务以及产品对应的统一系统框架 。
5
网易云音乐数据中台的具体实践
数据中台的整个实践过程 , 大致可分为三个阶段:
阶段一:“史前时代”
这个时期属于数据团队大干快上的阶段 , 他们主要的工作模式是逢山开路 , 遇水搭桥 , 大量支持业务需求 。 同时 , 他们发布了数仓 1.0、用户画像和 DMP 系统、OLAP 分析平台 , 开发了大量报表 。
在这期间 , 随着对业务的理解变得更深刻 , 同时网易云音乐快速发展积累的数据体量带来很多挑战 , “我们做了相当多的基础设施改造 , 比如数据层面对埋点体系的梳理、平台层面搭建了底层计算能力(实时、算法)等” 。
阶段二:数据中台 beta 阶段
2018 年底到 2019 年 , 为支持业务扩张 , 他们从目标、体系、组织结构对团队进行了梳理 , 确定了中台建设思路(这也契合同期网易云音乐整体技术、业务双中台战略) 。
团队被重新划分为平台、数据、产品三条线 , 重点做了两件事:
整合升级 。 横向统一全域的数据 , 将之前的算法、广告、业务数据全部纳入进来 。 纵向 , 建立对整个 pipeline 的管理体系 。
探索数据中台与业务的合作模式 。 “这个期间 , 我们也尝试多走一步 , 提供一站式的业务与数据结合的产品 。 核心是想获得中台在业务的落脚点 , 同时通过拿到一些业务结果让合作团队看到并认可数据中台的价值 。 ”朱一飞说 。
- IT之家7/8.1用户仍可以免费升级至Win 10,外媒亲测可行:Win
- zol中关村在线iPhone一个让安卓用户落泪的小功能——快捷指令
- 极客宇文氏手机的寿命到底是多久,你多长时间换一次手机?手机本身哪些部位决定了寿命用户使用习惯注定寿命
- 铭科技买笔记本避免被坑,小白用户必看笔记本五花八门的配置怎么看?
- 丰巢丰巢智能柜公众号发布致用户的一封信:解释关于12小时保管期限
- 无线视界中国移动终于改变,开始为老用户推出优惠套餐,被公开点名
- 界面新闻丰巢再度回应收费争议:多种措施鼓励用户尽早取件
- 买购网万亿二手市场潜力有多大 二手电商用户画像,一图看懂闲置经济
- 娱乐小小终于开通微粒贷,但是提示评分不足!,8年微信老用户
- 魅族魅族人性化设计,航母定制版即将登台,用户表示价格太伤人