深响|一场顶尖科技巨头的硬战,凌晨4点( 三 )


深响|一场顶尖科技巨头的硬战,凌晨4点
文章图片
04而云数据库的崛起 , 其实是整个互联网场景变化与趋势发展的缩影 。 在2004年左右 , 阿里巴巴尚未涉足云计算 , 这家“电商公司”当时还是数据库的大买主 。 “技术人员们花钱如流水 , 买得「IOE」(IBM的小型机、Oracle数据库、EMC存储设备)这三家的对口销售年年升职 。 ”据《淘宝技术这十年》中阿里巴巴技术人员的回忆 , 互联网实在发展得太快 , 很快就超过了IOE的极限 , 哪怕花钱也无法解决问题 。 传统数据库本质上是单机系统 , 即便做了分库分表 , 也无法改变单机系统的本质 。 2007年左右 , 阿里B2B业务势头正盛 , 淘宝、支付宝也出现井喷式增长 。 反应迟钝的传统软、硬件供应商拿不出解决方案 , 阿里巴巴需要“自救” 。 2008年9月 , 王坚加盟阿里巴巴集团担任首席架构师 , 也首次提出去IOE 。 但这一想法在当时被很多人认为是天方夜谭 。 据了解 , 在数据团队整合的过程中 , 走了三个主管 , 刚提起来 , 一周不到就辞职了 。 当电商业务逻辑变复杂以后 , 需要理解Oracle数据库的技术实现 , 但无论是请Oracle专家到现场的时间还是成本都无法满足业务要求 , 于是阿里巴巴从2012、2013年后就开始大规模使用、定制开源数据库 。 这是一个很有意思的现象 。 当今格局中头部的AWS与阿里云背后 , 都是电商基因的支撑 。 双十一等超大规模场景 , 在世界范围内来看都绝无仅有 , 这也给了中国电商企业登顶全球基础软件技术领导地位的机会 。 在2019年双11的交易中 , PolarDB数据库处理交易事件的峰值更是达到了8700万次/秒 。
深响|一场顶尖科技巨头的硬战,凌晨4点
文章图片
李飞飞2011年加入阿里的离哲 , 现任AnalyticDB等智能分析类数据库业务负责人 , 几乎见证了阿里数据库各种业务应用和自研阶段 。 离哲告诉「深响」:“2012年的时候商家进货很有挑战 。 该进什么样的货 , 黑色好卖还是白色好卖 , 商品起什么标题……问题很多 。 我们怎么帮商家解决这些问题?最终这些问题指向了一个数据分析和面向未来的趋势 , 所以我们开始尝试用开源技术做这个功能 。 ”2013年 , 离哲团队多次争取 , 获得了一个大数据项目 , 完全把数据的分析能力透传给商家、广告主 , 能让他们去做精准营销 。
深响|一场顶尖科技巨头的硬战,凌晨4点
文章图片
Gartner云数据库全球排行从2014年开始 , 其数据分析能力走出了阿里巴巴 。 第一个客户中信21世纪(也就是后来的阿里健康)面临的问题上药物条码 。 药的流通是个很大的问题 , 药物真假溯源尤为重要 。 但如果整体“上云” , 这个数据量是极大的 。 第二个客户线上打车的业务是实时的 , 除了处理业务数据 , 同时由于有红包功能 , 整个数据分析还需要对抗薅羊毛的黑产和灰产 。 日积月累 , 客户的数量越来越多 。 “服务外部的时候我们发现很多行业 , 比如游戏、税务 , 他们都面临同样的问题——当传统数据量变大的时候怎么用数据去赋能业务、用数据解决业务问题 。 例如游戏行业里大多数游戏生命周期都很短 , 一般6-8个月 , 怎么在短时间内做精准投放、快速引流并留存用户让投入价值最大化 。 ”离哲说 。 AnalyticDB这类提供智能分析的数据仓库 , 成为衔接客户数据和大数据分析能力的关键组件 。 而Gartner报告也指出 , 对于未来的数据工程师 , 数据运维工作量会下降30% , 智能化的分析能力则会大幅提升 。 AnalyticDB在复杂查询场景比传统关系型数据库快10倍以上 。 不过 , 拥抱新的云原生数据库 , 并不是一件困难的事 。 国内第一位OracleACE及OracleACE总监 , 云和恩墨创始人盖国强在三年前就在积极推行云原生框架 。 盖国强团队是国内数据库社区最顶尖的贡献者之一 , 他归纳了数据库行业的几个重要趋势:分布式 。 弹性伸缩 , 故障自愈 。