来自：FEINIK 的博客

链接：http://my.oschina.net/feinik/blog/1621000

1 概述

本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点

NN=NameNode（名称节点）

SND=SecondaryNameNode（NameNode的辅助节点）

DN=DataNode（数据节点）

2 前期准备

（1）准备五台服务器

如：master1、master2、slave1、slave2、slave3

（2）关闭所有服务器的防火墙

（3）分别修改各服务器的/etc/hosts文件，内容如下：

注：对应修改个服务器的/etc/hostname文件，分别为 master1、master2、slave1、slave2、slave3

（4）分别在各台服务器创建一个普通用户与组

切换至hadoop用户：su hadoop

（5）各服务器间的免密码登录配置，分别在各自服务中执行一次

注：以上操作需要登录到hadoop用户操作

（6）下载hadoop包，hadoop-2.7.5.tar.gz

官网地址：http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/

3 开始安装部署

（1）创建hadoop安装目录

（2）将安装包解压至/home/hadoop/app/hadoop下

（3）配置hadoop的环境变量，修改/etc/profile

（4）刷新环境变量

4 配置Hadoop

（1）配置core-site.xml

默认配置地址：

http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml

（2）配置hdfs-site.xml

默认配置地址：

http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

（3）配置mapred-site.xml

$ cp /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml

$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml

默认配置地址：

http://hadoop.apache.org/docs/r2.7.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

（4）配置yarn-site.xml

默认配置地址：

http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

（5）配置slaves

slaves文件中配置的是DataNode的所在节点服务

（6）配置hadoop-env

修改hadoop-env.sh文件的JAVA_HOME环境变量，操作如下：

（7）配置yarn-env

修改yarn-env.sh文件的JAVA_HOME环境变量，操作如下

（8）配置mapred-env

修改mapred-env.sh文件的JAVA_HOME环境变量，操作如下：

（9）将master1中配置好的hadoop分别远程拷贝至maser2、slave1 、slave2、slave3服务器中

5 启动测试

（1）在master1节点中初始化Hadoop集群

（2）启动Hadoop集群

●本文编号525，以后想阅读这篇文章直接输入

525

即可

●输入m获取文章

目录

推荐↓↓↓

算法与数据结构

更多推荐

《

18个技术类公众微信

》

涵盖：程序人生、算法与数据结构、黑客技术与网络安全、大数据技术、前端开发、Java、Python、Web开发、安卓开发、iOS开发、C/C++、.NET、Linux、数据库、运维等。

• 天盾windows数据恢复软件怎么使用
• 苹果手机抹掉所有数据和设置可以重新设置ID吗
• 哪种数据库比较好学？
• 为什么网络连接上了总是出现数据错误字样?
• 一财:地方网监大队称正严密监控境外虚拟货币交易平台
• 吃货们请放肆吃！18年的美食报告数据也靠你们了！
• hadoop2.x的mapreduce怎么解决内存受限的
• 美中日糟糕的经济数据恐粉碎全球经济同步复苏的美梦
• 苹果数据线那么容易坏，只能再买新的？
• Excel动态图表能让数据动起来？还有这种操作！