小暖男石头哥|Hadoop框架：单服务下伪分布式集群搭建环境：centos7Hadoop版本：2.7.2jdk版

环境：centos7Hadoop版本：2.7.2jdk版本：1.8bin目录：存放对Hadoop的HDFS,YARN服务进行操作的脚本etc目录：Hadoop的相关配置文件目录lib目录：存放Hadoop的本地库，提供数据压缩解压缩能力sbin目录：存放启动或停止Hadoop相关服务的脚本share目录：存放Hadoop的依赖jar包、文档、和相关案例vim/etc/profile#添加环境exportJAVA_HOME=/opt/jdk1.8exportPATH=$PATH:$JAVA_HOME/binexportHADOOP_HOME=/opt/hadoop2.7exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#退出刷新配置source/etc/profile以下配置文件所在路径：/opt/hadoop2.7/etc/hadoop ，这里是Linux环境，脚本配置sh格式。
root#vimhadoop-env.sh#修改前exportJAVA_HOME=#修改后exportJAVA_HOME=/opt/jdk1.8文件结构概览
NameNode的地址
fs.defaultFShdfs://127.0.0.1:9000数据存放目录：Hadoop运行时产生文件的存储目录。
hadoop.tmp.dir/opt/hadoop2.7/data/tmp文件结构和上述一样，配置hdfs副本个数，这里伪环境，配置1个即可。
dfs.replication1exportJAVA_HOME=/opt/jdk1.8指定YARN的ResourceManager的地址
yarn.resourcemanager.hostname192.168.72.132指定map产生的中间结果传递给reduce采用的机制是shuffle
yarn.nodemanager.aux-servicesmapreduce_shuffleexportJAVA_HOME=/opt/jdk1.8将mapred-site.xml.template重新命名为mapred-site.xml 。
指定MapReduce程序资源调在度集群上运行。如果不指定为yarn ，那么MapReduce程序就只会在本地运行而非在整个集群中运行。
mapreduce.framework.nameyarnHdfs相关
格式化NameNode
第一次启动时执行该操作。
[hadoop2.7]#bin/hdfsnamenode-format格式化NameNode ，会产生新的clusterID,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要停止相关进程，删除data数据和log日志，然后再格式化NameNode 。 clusterID在如下目录中的VERSION文件里，可自行查看对比。
/opt/hadoop2.7/data/tmp/dfs/name/current/opt/hadoop2.7/data/tmp/dfs/data/current启动NameNode
[hadoop2.7]#sbin/hadoop-daemon.shstartnamenode启动DataNode
[hadoop2.7]#sbin/hadoop-daemon.shstartdatanodejps查看状态
[root@localhosthadoop2.7]#jps2450Jps2276NameNode2379DataNodeWeb界面查看
需要Linux关闭防火墙和相关安全增强控制（这里很重要）。
IP地址:50070

文章图片
Yarn相关
启动ResourceManager
[hadoop2.7]#sbin/yarn-daemon.shstartresourcemanager启动NodeManager
[hadoop2.7]#sbin/yarn-daemon.shstartnodemanagerWeb界面查看
IP地址:8088/cluster

文章图片
MapReduce相关
文件操作测试
创建一个测试文件目录
[root@localhostinputfile]#pwd/opt/inputfile[root@localhostinputfile]#echo"hellowordhadoop">word.txtHDFS文件系统上创建文件夹
[hadoop2.7]bin/hdfsdfs-mkdir-p/opt/upfile/input上传文件
[hadoop2.7]#bin/hdfsdfs-put/opt/inputfile/word.txt/opt/upfile/input查看文件
[hadoop2.7]#bin/hdfsdfs-ls/opt/upfile/input

文章图片
执行文件分析
bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jarwordcount/opt/upfile/input/opt/upfile/output查看分析结果