数据■对于qkfile的可靠与安全性的简介 |磁盘|数据中心|容灾|

_本文原题：对于qkfile的可靠与安全性的简介
在分布式存储系统中，即利用了网络设备的网卡、交换机，同时也利用了单机的磁盘、CPU、内存、主板等硬件设备，每种设备都有其特有的失效模型。那HDD磁盘举例，其失效模型包括磁盘直接损坏导致数据丢失、IO下发之后永不返回、数据静默错误，进入只读状态等多种错误类型，不同错误都需要有针对性的处理，底线应该保证数据不会丢失。在万台的集群（一个独立存储系统称为一个集群，数据中心和集群间的关系为多对多，假设机器为20盘位）中，如果按照磁盘年损坏率为5%计算，平均到每天要损坏3块硬盘。

本文插图
为保证数据可靠性，数据采用多拷贝的方式来防止硬件损坏导致数据丢失， Meta和Data同样需要高可靠，但是使用的方法不同。为保证Meta可靠， Master多个进程分成一组，使用Raft协议对数据状态进行复制。协议保证所有的Meta修改日志同步给大多数成员且落盘成功后才会返回用户成功，同时针对每条日志计算CRC ，防止数据出错。数据采用多副本和Erasure Coding两种方式实现，为了降低成本，存储的拷贝数越少越好，但为了增加数据可靠性，存储的拷贝越多越好，所以为了协调两者关系，需要系统可以即时发现硬件错误并快速对数据进行恢复。
在盘古系统中，对于硬件错误会分成不同级别进行处理，例如磁盘错误作为第一优先级处理，因为这样的错误会导致数据永久丢失，不管在网络、磁盘、CPU的调度上都会为这样的硬件失效留有配额，做到单盘数据丢失在分钟量级就可以恢复。
数据容灾主要解决某个数据中心的网络和电力故障导致的系统可用性问题，跨数据中心和跨地域容灾可以突破单数据中心可用性限制，将系统可用性提高到和数据可靠性相同的水平。
在容灾水平上，一地多中心和异地多中心区别比较大，主要局限在延时和网络带宽两个方面。在同地域100千米范围内，多个数据中心间的延时增加小于1毫秒，带宽可以做到接近于数据中心内部网络的水平，在系统设计时主要考虑在数据分布上，在流量控制和延时上的限制不突出。但是跨地域的容灾将延时增大到几十毫秒，带宽则下降至少一个数量级。为了缓解这样的问题，需要做到数据可以异步进行同步，数据可以按照重要程度来区别对待。异步复制需要保证系统Meta的一致性，需要在每时每刻保证充分利用了跨地域的网络带宽，地域内部多副本防止数据恢复占用跨地域带宽。数据重要程度则反映到对数据分布特性的指定，目前盘古系统可以设置每个文件的分布特性，改变分布特性后可以动态对数据分布做出调整。
在存储的核心技术指标上， qkfile在数据可靠性、数据安全性、服务可用性、容灾性和抗DDOS能力等方面都对现有产业巨头形成降维打击，呈碾压之势。
【数据■对于qkfile的可靠与安全性的简介】有了分布式文件存储系统，它后面的应用举例说分布式的音乐网站，图片网站视频网站或者各种类型的一些分布式应用它都会出现，那就相当于有了互联网之后才会去看小门户网站BBS论坛，然后APP这些相关的应用，那么我们分布式文件存储系统出来之后，必然会有专门针对分布式文件系统的一些应用，这些应用能够极大的提高整个的分布式文件存储系统的需求量，所以说我相信在坐很多朋友，你们可能都是办的流量的无线套餐40G或者50G不限量，这在当时你们很难想象能可以用这么多的流量。