InfoQ网易严选数据产品实践

作者 | 严选技术数据产品是个新兴的产品分类 , 每个人眼里都有一个自己的数据产品 , 尽管在绝大部分人的概念中都是一堆报表 。 在过去的 3 年里 , 我们在用户需求的推动下一步步构建了网易严选数据产品体系 , 下文分享我们在构建过程中自己的一些思考和总结 。背 景
本文内容来自我在2020产品经理大会上《网易严选数据产品实践与方法论》分享的文字总结 , 由于篇幅原因 , 只包含了实践部分 。 数据产品是个新兴的产品分类 , 每个人眼里都有一个自己的数据产品 , 尽管在绝大部分人的概念中都是一堆报表 。 在过去的3年里 , 我们在用户需求的推动下一步步构建了网易严选数据产品体系 , 在构建过程中也有一些自己的思考 。
网易严选数据产品实践主要分为以下4个阶段:“业务有数可看”、“数据质量保障”、“CXO有处看数”、“场景化数据产品” 。 这4个阶段其实并没有明显的阶段之分 , 各阶段高度重叠 , 很多时候都同时在推进 。 接下来 , 我会从每个阶段面临的需求(问题) , 以及我们采用的产品解决方案来详述我们的实践之路 。
【InfoQ网易严选数据产品实践】
InfoQ网易严选数据产品实践
本文插图
业务有数可看2017年 , 我刚来严选的时候 , 是严选数据产品起步的阶段 , 我们主要面临事多、人少、工具差的三大问题(应该也是各个数据部门长期面临的问题) 。
InfoQ网易严选数据产品实践
本文插图
“事多”主要是因为业务方多且当时业务数据需求有一波激增 。 现代商业(特别是在线业务)数据重要性不言而喻 , 业务需要通过数据来了解业务现状 , 发现业务的机会点和风险点 。 网易严选作为品牌电商 , 业务链路特别长 , 相较于纯互联网业务主要有产品运营部门 , 品牌电商还有很重的供应链、商品、客服等部门 , 记得当时光二级部门就有30+ , 每个部门都有数据需求 。 当时还不断有电商互联网大厂的管理层加入严选 , 基于他们在原来公司比较先进的数据监控体系 , 提了大量数据需求 , 带来一波业务数据需求的激增 。 “人少”是部门初建的常规问题 , 当时我们数据开发10个不到(还有2个实习生数据产品经理) , 跟我们合作的数据分析师应该也就10个左右 。 当时使用的报表工具有BIEE、excel、自己开发的数据产品(报表集合) , 数据开发主要写MR加工数据 , 网易猛犸+网易有数尽管也已经引入 , 但是没有用正确的姿势大规模的使用起来 。
面对“业务有数可看”的需求 , 我们通过构建数据仓库+严选有数(敏捷BI平台)的方案来解决 。 数据开发工程师在网易猛犸大数据开发平台使用SQL高效地进行数据开发构建数据仓库 , 数据分析师基于数据仓库在网易猛犸上使用SQL高效地进行分析集市的开发 , 再使用网易有数通过拖拽和配置的方式快速进行报表开发 。 经过数据分析师和数据开发工程师的辛勤工作 , 严选有数目前有8w的图表(加上其他数据产品一共10w+) , 工作日PV 6K+ , 周UV900+ , 对于一个事业部级别的BI平台 , 报表量和访问量应该算是非常不错了 。 那我们是如何做到这样的规模呢?首先应该感谢数据分析师和数据开发工程师的辛勤开发 , 开发了大量的报表和数据模型 。 因为本文主题是数据产品 , 接下来我主要从数据产品(严选有数)的角度展开讲下我们方案的优势 。
InfoQ网易严选数据产品实践
本文插图
严选有数是网易有数在严选的一个私有部署版本 , 在网易有数的版本上结合数仓做了性能优化 , 在开放协同上也做了一些功能扩展 。
InfoQ网易严选数据产品实践
本文插图