HDFS详解（架构设计、副本放置策略、读写流程、进程等）（四）

2018-06-28 15:52 分类：滚动来源：千锋大数据开发学院

『甘肃龙网摘要_HDFS详解（架构设计、副本放置策略、读写流程、进程等）（四）』2.Client调用FSDataInputStream对象的read()方法： ·去与第一个块的最近的Datanode进行read，读取完成后，会check，加入successful，会关闭与当前Datanode通信;(假如check fail，会记录失败的块和Datanode信息，下...


2.Client调用FSDataInputStream对象的read()方法：

·去与第一个块的最近的Datanode进行read，读取完成后，会check，加入successful，会关闭与当前Datanode通信;(假如check fail，会记录失败的块和Datanode信息，下次就不会读取;那么回去该块的第二个Datanode地址读取)

·然后去第二个块的最近的Datanode上进行读取，check后，关闭此Datanode的通信;

·假如block列表读取完了，文件还未结束，那么FileSystem会从Namenode获取下一批的block的列表。(读操作对于Client端是透明的，感觉就是连续的数据流)

3.Client调用FSDataInputStream.close()方法，关闭输入流。

----HDFS详解（架构设计、副本放置策略、读写流程、进程等）//----甘肃龙网 //

1.Client调用FileSystem.create(filepath)方法，去与Namenode进行rpc通信，check该路径的文件是否存在以及有没有权限创建该文件，假如可以，就创建一个空的新文件，但是并不关联任何block，返回一个FSDataOutputStream对象;(假如不可以创建，就返回错误信息，一般代码要带有try-catch去捕捉异常)

2.Client调用FSDataOutputStream对象的write()方法，会将第一个块写入第一个Datanode，第一个Datanode写完传给第二个节点，第二个写完传给第三个节点，当第三个节点写完返回一个ack packet给第二个节点，第二个返回一个ack packet 给第一个节点，第一个节点返回ack packet给FSDataOutputStream对象，表示第一个块写完，副本数为3;

3.剩余的块依次这样写;

4.当向文件写入数据完成后，Client调用FSDataOutputStream.close()方法，关闭输入流，flush缓存区的数据包;

5.再调用FileSystem.complete()方法，告诉Namenode节点写入成功。

五、pid进程详解

Hadoop进程的pid文件默认存放在/tmp目录中，linux默认情况下是一个月清空一次。若将pid文件删除了，对我们的HDFS运行没有影响，但是当停止集群时，若将namenode的pid删除，会发生错误显示：no namenode to stop。这时会存在残留进程，下次启动时可能启动不起来，不利于集群维护。(jps显示的是hsperfdata文件中的内容)

推荐

会·生活

漫荒咋办

阅读(28)

有时刻发明可以看的也没保持下去，就是不感兴趣，还要等待真正爱好的番啊...

潮·科技

一加Nordn10 5g和100即将发布，中低端手机？

阅读(30)

其实现在能够看出来的一件事 ， 一加现在也开始逐渐增加自己的产品数量 ， 当然就是说现在不光是专门做旗舰手机了 ， 当然 ， 这是一个算是被动的改变 ， 一加看起来要发布新品了...