4.3.2 HDFS集群配置

• node1-4关闭和禁用防火墙

xxxxxxxxxx
#检查防火墙的状态
[root@node1 ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)
#关闭防火墙
[root@node1 ~]# systemctl stop firewalld
#禁用防火墙
[root@node1 ~]# systemctl disable firewalld

• 环境变量配置

xxxxxxxxxx
#node1上修改环境变量
export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#Node2上修改环境变量：
export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#node1-2上让配置文件生效：
source /etc/profile
#将node2的/etc/profile拷贝到node3、node4上并执行
scp /etc/profile node[34]:`pwd`
source /etc/profile

• hadoop-env.sh配置

xxxxxxxxxx
#进入$HADOOP_HOME/etc/hadoop
cd /opt/hadoop-3.1.3/etc/hadoop/
#修改hadoop-env.sh
export JAVA_HOME=/usr/java/default

由于通过SSH远程启动进程的时候默认不会加载/etc/profile设置，JAVA_HOME变量就加载不到，需要手动指定。

• workers配置

修改workers(hadoop2.x为slaves）文件，指定datanode的位置

xxxxxxxxxx
node2
node3
node4

注意：该文件中不能出现空行，添加的内容结尾也不能出现空格。

• core-site.xml配置

xxxxxxxxxx
<configuration>
 <!--用来指定hdfs的老大，namenode的地址-->
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://node1:9820</value>
 </property>
 <!-- 指定hadoop数据的存储目录-->
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/var/itbaizhan/hadoop/full</value>
 </property>
</configuration>

• hdfs-site.xml配置

xxxxxxxxxx
<configuration>
  <!-- 指定NameNode web端访问地址 -->
  <property>
     <name>dfs.namenode.http-address</name>
     <value>node1:9870</value>
  </property>
  <!-- 指定secondary namenode web端访问地址 -->
  <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>node2:9868</value>
  </property>
  <!-- 指定每个block块的副本数，默认为3 -->
  <property>
     <name>dfs.replication</name>
     <value>2</value>
  </property>
</configuration>

• 拷贝到node2-node4上

xxxxxxxxxx
#先将之打成压缩包
[root@node1 opt]# tar -zcvf hadoop-3.1.3.tar.gz hadoop-3.1.3/
#将/opt/hadoop-3.1.3.tar.gz scp到node2、node3、node4的对应目录中
[root@node1 opt]# scp  hadoop-3.1.3.tar.gz node2:/opt
[root@node1 opt]# scp  hadoop-3.1.3.tar.gz node3:/opt
[root@node1 opt]# scp  hadoop-3.1.3.tar.gz node4:/opt

#node2、node3、node4分别解压
tar -zxvf hadoop-3.1.3.tar.gz
#node1、node2、node3、node4测试
[root@node4 opt]# had #然后按下 Tab 制表符，能够自动补全为hadoop，说明环境变量是好的。
#获取通过hadoop version命令测试
[root@node4 opt]# hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar