ZAKER汽车|HDFS设计思想和相关概念( 三 )
HDFS上的块为什么远远大与传统文件系统 , 是有原因的 。 目的是为了最小化寻址开销时间 。
HDFS寻址开销不仅包括磁盘寻道开销 , 还包括数据库的定位开销 , 当客户端需要访问一个文件时 , 首先从名称节点获取组成这个文件的数据块的位置列表 , 然后根据位置列表获取实际存储各个数据块的数据节点的位置 , 最后 , 数据节点根据数据块信息在本地Linux文件系统中找到对应的文件 , 并把数据返回给客户端 , 设计一个比较大的块 , 可以把寻址开销分摊到较多的数据中 , 相对降低了单位数据的寻址开销
举个例子:块大小为128MB , 默认传输效率100M/s,寻址时间为10ms , 那么寻址时间只占传输时间的1%左右
当然 , 块也不能太大 , 因为另一个核心技术MapReduce的map任务一次只处理一个数据块 , 如果任务太少 , 势必会降低工作的并行处理速度 。
【ZAKER汽车|HDFS设计思想和相关概念】HDFS的块概念 , 在解决了大数据集文件的存储同时 , 不仅解决了文件存取的网络瓶颈问题 , 还
- ZAKER汽车|却处处受限于英特尔,浪潮也遭“断供”之痛?市场份额第一
- ZAKER生活|Pro+让大家大开眼界,九亿像素全景还原《千里江山图》,X50
- ZAKER生活|华为职员为什么要求零工资?
- ZAKER生活|智能锁的锁体有什么?锁体分为几部分?
- 零点新闻|二手车市场调查:长春雷诺汽车撤店造成在用车贬值
- 产业气象站|5G汽车:新能源汽车产业发展新方向
- ZAKER生活|如何鉴别手中捡到的石头是不是陨石?
- 第一电动网|蔚来中国项目完成注资;理想汽车计划新增60家门店;特斯拉市值超2000亿美元
- 自主汽车网|汽车产业生态将被重建,“软件定义的汽车”成为共识
- ZAKER汽车|这项记录已经保持了6年,始终无人能打破!,全球“最薄”智能手机