QQ空间|腾讯存储技术背后的十五年往事( 二 ) 存储|腾讯|背后|qq空间|往事|技

就这样，技术团队一块一块地啃，在地图上，绿色和黄色一点一点地增加。花了差不多一年的时间，到2007年年底，一张绿色的中国地图终于出现在大家的面前。此次速度优化上的闯关，为QQ空间日后流量的倍级增长提供了至关重要的保证。
另一座“大山”但在2009年，另一座大山挡住了“去路”，带宽不够了。
“那时所有的数据中心都是在深圳。当时的骨干网带宽跟现在实际上不能同日而语，是很小的，QQ相册高峰时占用40-50G，而1G的流量对公司的网络就已经是很大的负担了。QQ空间用户增长带来大量的数据让我们基本上把整个华南地区的骨干网消化完了。”
摆在谢明他们面前的也就只有一条路了：启动相册一通点等项目，将海量业务数据从深圳向西安、杭州、广州、上海等地分布，访问带宽同时调度到天津、南京、东莞等成本更低的一通机房。
“我记得搬第一个设备是100T，现在看来100T不大，但那是腾讯历史上最大的一次数据搬迁了。”
那时，没有数据中心专线网络可供腾讯使用，因此，谢明与团队其他成员在半夜通过用公网出口把数据一点一点地“搬到”了西安等地。
而在做数据分布搬迁的过程中，自身也在同步迭代演进。TFS从3份存储演进为同时支持1/2/3份数据的多副本存储；CTFS从2份存储演进为同时支持2/3份数据存储。TSSD平台也从仅支持单机独享的Uin-Value定制存储演进为支持多租户的通用Key-Value存储。
就这样QQ空间在TFS存储系统的支撑下，笑到了最后。（51.com被QQ空间击败，转型做了游戏代理，之后逐渐没落。）

文章插图
2009年腾讯存储团队合影照片
也就从2009年之后，QQ空间的收入大幅增加，成为排在网络游戏之后的第二大收入贡献部门，黄钻收入在2010年达到峰值，也因此QQ空间获得2009年度的腾讯合作文化奖。
此后QQ空间的相册日上传照片数不再受限（用户体验到的受限是腾讯产品部门策略），其照片累计存储量也多达数万亿张。
TFS存储系统也逐渐开始为QQ、微信、邮箱、微云、流媒体加速等提供存储服务，目前已经支撑起腾讯90%+的数据存储业务。
微信带来的“冲击”【 QQ空间|腾讯存储技术背后的十五年往事】如果现在回忆2014、2015年的互联网公司的竞争，可能很多人都会想到那时春晚的红包大战。
可让谢明他们万万没想到的是，给TFS存储系统带来下一个压力的节点竟然会是移动互联网时代的微信朋友圈。
“PC互联网时代的竞争其实没有那么激烈，还在吃人口红利，创业公司也并没有那么多，大家觉得日子都还是很好过的。”
从腾讯发布的财报显示，截止2014年底，微信月活跃用户达到5亿，就是这些快速增长的用户让存储团队感受到了前所未有的冲击。
这里要说一下存储系统在微信中的主要作用，微信用户在给朋友发送图片、视频等文件，甚至发红包的时候，首先这些文件要存储在腾讯公司的存储服务器中，而朋友在看这些图片和视频文件的时候，实际上他们是读取了我们存储在腾讯服务器的上的内容。发朋友圈亦是如此。
2014年，随着4G网络的普及，微信得以推广，QQ也可以用手机登录，因此，在春节，微信和手机QQ成为了人们送祝福的主要平台。
“比如在除夕，大家都会到朋友圈去送祝福、发照片、晒年夜饭等……在2014年的除夕，让我们感受到了压力。”腾讯云架构平台部技术运营与质量中心总监高向冉如是说。
用户在除夕的0：00-0：30分之间都在用微信去给亲友发送春节祝福，这对腾讯的存储服务器的读写能力带来了很大的挑战。

文章插图
微信打开页面
需要科普的是，为了控制存储的成本，存储服务的磁盘容量其实是不断变大的，但读写能力并没有随着磁盘容量的变大而提升，实际上单GB的读写能力是成倍下降的。
这背后其实，就是在遇到高并发（用户在同一时间点发消息/朋友圈）情况下，那时的腾讯存储服务器的读写能力是无法满足几亿用户高并发动作的，用户的直观感受就是你的消息对方无法及时看到，你也可能无法及时收到朋友发给你的微信/朋友圈。
因此，存储团队联合微信产品团队首先在各个层面制定了相关的柔性策略，保证用户可以及时的将信息发出去并能被看到，而信息的存储落盘在30分钟内完成。
而在落盘的过程中，需要存储团队通过技术将磁盘的读写能力开放到极致。