好程序员大数据培训分享Hadoop分布式集群( 二 ) 好程序员大数据培训分享Hadoop分布式集

rm -rf id_rsa.pub //删除id_rsa.pub
3)在slave1上面测试
ssh master
依次配置slave2、slave3
到此主从的无密登录已经完成了。
Hadoop环境搭建
配置master的hadoop环境
1、master上解压缩安装包及创建基本目录
#下载
wget
#解压
tar -xzvf hadoop-2.7.3.tar.gz -C /usr/local
#重命名
mv hadoop-2.7.3 hadoop
2、配置master的hadoop环境变量
1)配置环境变量，修改配置文件vi/etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
使得hadoop命令在当前终端立即生效
source /etc/profile
下面配置，文件都在：/usr/local/hadoop/etc/hadoop路径下
2、配置core-site.xml
修改Hadoop核心配置文件/usr/local/hadoop/etc/hadoop/core-site.xml ，通过fs.default.name指定NameNode的IP地址和端口号，通过hadoop.tmp.dir指定hadoop数据存储的临时文件夹。

hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.

fs.defaultFS
hdfs://master:9000

特别注意：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop 。而这个目录在每次重启后都会被删除，必须重新执行format才行，否则会出错。
3、配置hdfs-site.xml：
修改HDFS核心配置文件/usr/local/hadoop/etc/hadoop/hdfs-site.xml ，通过dfs.replication指定HDFS的备份因子为3 ，通过dfs.name.dir指定namenode节点的文件存储目录，通过dfs.data.dir指定datanode节点的文件存储目录。

dfs.replication
3

dfs.name.dir
/usr/local/hadoop/hdfs/name

dfs.data.dir
/usr/local/hadoop/hdfs/data

4、配置mapred-site.xml
拷贝mapred-site.xml.template为mapred-site.xml ，在进行修改
cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

mapreduce.framework.name
yarn

mapred.job.tracker
http://master:9000

5、配置yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.resourcemanager.hostname
master

6、配置masters文件
修改/usr/local/hadoop/etc/hadoop/masters文件，该文件指定namenode节点所在的服务器机器。删除localhost ，添加namenode节点的主机名master;不建议使用IP地址，因为IP地址可能会变化，但是主机名一般不会变化。
vi /usr/local/hadoop/etc/hadoop/masters
【好程序员大数据培训分享Hadoop分布式集群】##内容