HDFS详解（架构设计、副本放置策略、读写流程、进程等）

2018-06-28 15:52 分类：滚动来源：千锋大数据开发学院

『甘肃龙网摘要_HDFS详解（架构设计、副本放置策略、读写流程、进程等）』小编提示您本文原始标题是：HDFS详解（架构设计、副本放置策略、读写流程、进程等）...


小编提示您本文原始标题是：HDFS详解（架构设计、副本放置策略、读写流程、进程等）

管理网络中跨多台计算机存储的文件系统成为分布式文件系统(distributed filesystem)。该系统架构与网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。例如：使文件系统能够容忍节点故障且不丢失任何数据，就是一个极大的挑战。

一、HDFS的设计

HDFS是以流式数据访问模式来存储超大文件，具有以下特点：

1.流式数据访问 HDFS构建思路决定为：一次写入、多次读取是最高效的访问模式。

2.商用硬件 Hadoop不需要部署在高昂且高可靠的硬件上，HDFS的设计使得数据的靠可性和安全性增加。

3.低时间延迟的数据访问 HDFS不适合此种方式，对于低延迟的访问需求，可以选择HBase。

4.大量的小文件 Namenode用于存储文件系统的元数据，首相与Namenode的内存，对于大量的小文件，Namenode的管理压力过大。

5.多用户写入，任意修改文件 HDFS不支持多用户写入操作，也不支持在文件任意位置进行修改，数据的添加在文件的末尾。

二、HDFS的架构设计

HDFS的架构遵循主/从架构模式，主要进程为Namenode，Datanode，Secondarynamenode，在启动过程中，启动顺序也是按照这个顺序。

对于磁盘的存储，我们每个磁盘都有默认的数据块，文件系统块的大小(默认512字节)一般为数据块的整数倍。对于HDFS同样有数据块这一概念，原先官方默认的数据块为64M，目前新版本的默认为128M。若想改变这一默认，需要修改HDFS的配置文件，名称为：dfs.blocksize，默认128M。

Q1：HDFS块为何这么大?

A：HDFS的块比磁盘的块大，目的是最小化寻址开销。如果块设置的足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置的时间。假如寻址时间为10ms，文件传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们就需要将块设置为100MB左右，以此来达到最优占比。但是数据块也不宜设置过大，因为Mapreduce的map任务每次只处理一个数据块，故如果任务量少于集群的节点数量，作业运行速度就比较慢。

推荐

会·生活

漫荒咋办

阅读(28)

有时刻发明可以看的也没保持下去，就是不感兴趣，还要等待真正爱好的番啊...

潮·科技

一加Nordn10 5g和100即将发布，中低端手机？

阅读(30)

其实现在能够看出来的一件事 ， 一加现在也开始逐渐增加自己的产品数量 ， 当然就是说现在不光是专门做旗舰手机了 ， 当然 ， 这是一个算是被动的改变 ， 一加看起来要发布新品了...