大数据集群的部署实例｜附视频：大数据集群的部署实例

原标题：大数据集群的部署实例｜附视频

文章图片
集群可以提高系统性能、提高可用性和增强灵活性，能很好完成复杂的任务。本篇重点介绍CentOS集群系统及部署，以及SSH安全登录及配置。
01
集群规划
为了简化操作，使用三台服务器作为集群节点，其中一台为Master节点，两台为Slave节点。集群节点IP规划如下：
master：172.30.0.10
slave1：172.30.0.11
slave2：172.30.0.12
netmask:255.255.255.0
gateway：172.30.0.254
02
网络配置
对集群节点进行网络配置，以master节点为例。
（1）设置主机名，操作如下：
#hostnamectlset-hostnamemaster
或者
#vi/etc/hostname
master
（2）修改/etc/hosts文件，操作如下：
#vi/etc/hosts
添加内容：
172.30.0.10master
172.30.0.11slave1
172.30.0.12slave2
（3）修改网络配置，操作如下：
#vi/etc/sysconfig/network-s/ifcfg-ens33
添加修改内容：
TYPE=Ethernet
BOOTPROTO=none
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=172.30.0.10
PREFIX=24
GATEWAY=172.30.0.254
DNS1=202.96.128.86
DNS2=202.96.134.133
（4）重启网络，并查看网络IP地址，操作如下：
#systemctlrestartnetwork
#ifconfig-a
或者
#ipaddr
（5）关闭并停止NetworkManager服务，操作如下：
#systemctldisableNetworkManager
#systemctlstopNetworkManager
NetworkManager是用于便携式计算机和其他可移动计算机的理想解决方案。可自动连接到已知无线网络或并行管理多个网络连接，然后将最快的连接用作默认连接，还可以手动在可用网络之间切换，并使用系统盘中的小程序管理网络连接。 NetworkManager在Hadoop环境下不适用，需要关闭。
03
安全配置
作为一个开放源代码的操作系统， Linux服务器以其安全、高效和稳定的显著优势而得以广泛应用，最重要的安全模块有SELinux和iptables或firewalld 。
SELinux（Security-EnhancedLinux）是美国国家安全局（NSA）对于强制访问控制的实现，是Linux历史上最杰出的新安全子系统， SELinux共有3个状态enforcing（执行中）、permissive（不执行但产生警告）、disabled（关闭）。
Iptables是与Linux内核集成的IP信息包过滤系统。如果Linux系统连接到因特网或LAN、服务器或连接LAN和因特网的代理服务器，则该系统有利于在Linux系统上更好地控制IP信息包过滤和防火墙配置。防火墙在做信息包过滤决定时，有一套遵循和组成的规则，这些规则存储在专用的信息包过滤表中，而这些表集成在Linux内核中。
Centos7中默认将原来的防火墙iptables升级为了firewalld 。防火墙守护firewalld服务引入了一个信任级别的概念来管理与之相关联的连接与接口。它支持ipv4与ipv6 ，并支持网桥，采用firewall-cmd（command）或firewall-config（gui）来动态的管理kernelnetfilter的临时或永久的接口规则，并实时生效而无需重启服务。
为了便于学习，我们会关闭这些安全配置，设置一些安全选项。
（1）安全密码控制，操作如下：
#vi/etc/login.defs//适应于新建的用户
修改内容：
PASS_MAX_DAYS30//密码最多使用30天，必须更改密码
PASS_MIN_DAYS0//密码最少使用0天，才能更改密码
PASS_MIN_LEN5//可接受的密码长度
PASS_WARN_AGE7//密码到期前的警告时间
#chage-M30用户名//适用于以存在的用户，密码30天过期
#chage-d0用户名//下次登录时，必须更改密码
为了降低密码被猜出或暴力破解的风险，应避免长期使用同一个密码。管理员可以在服务器端限制用户密码使用最大有效期天数，对密码已过期的用户，登录时要求重新设置密码，否则拒绝登录。
（2）设置历史记录、退出自动清空历史记录等，操作如下：
#vi/etc/profile
添加内容：
exportHISTSIZE=5//历史记录限制为5条
#vi~/.bash_logout
添加内容：
history-c//清空历史记录
（3）设置闲置超时时间，操作如下：
#vi/etc/profile
添加内容
exportTMOUT=600//用户将在10分钟无操作后自动注销
（4）设置SElinux ，操作如下：
#vi/etc/selinux/config
修改内容：
SELINUX=permissive
#setenforcepermissive
#getenforce
（5）设置并停止firewalld服务，操作如下：
#systemctldisablefirewalld
#systemctlstopfirewalld
04
时间同步
网络时间协议（NTP ， NetworkTimeProtocol）是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟， GPS等等)做同步化，它可以提供高精准度的时间校正，且可由加密确认的方式来防止恶毒的协议攻击。 NTP的目的是在无序的Internet环境中提供精确和健壮的时间服务。