大数据全系列 教程
1869个小节阅读:466.8k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
###10.4.4 首次启动HDFS HA集群
a) 启动zookeeper集群, node2、node3、node4分别执行:
xxxxxxxxxx
zkServer.sh start
b) 在node1\node2\node3上启动三台journalnode
xxxxxxxxxx
hdfs --daemon start journalnode
c) 选择node1,格式化HDFS
xxxxxxxxxx
[root@node1 hadoop]# hdfs namenode -format
#看到如下提示,表示格式化成功
2021-10-15 13:21:33,318 INFO common.Storage: Storage directory /var/itbaizhan/hadoop/ha/dfs/name has been successfully formatted.
/var/itbaizhan/hadoop/ha/dfs/name/current/目录下产生了fsimage文件
xxxxxxxxxx
[root@node1 hadoop]# ll /var/itbaizhan/hadoop/ha/dfs/name/current/
总用量 16
-rw-r--r-- 1 root root 391 10月 15 13:21 fsimage_0000000000000000000
-rw-r--r-- 1 root root 62 10月 15 13:21 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root 2 10月 15 13:21 seen_txid
-rw-r--r-- 1 root root 218 10月 15 13:21 VERSION
格式化后,启动namenode进程
xxxxxxxxxx
[root@node1 hadoop]# hdfs --daemon start namenode
[root@node1 hadoop]# jps
7347 JournalNode
7689 NameNode
7737 Jps
d) 在另一台node2上同步元数据,然后在该节点上启动NameNode。
xxxxxxxxxx
[root@node2 ~]# hdfs namenode -bootstrapStandby
#出现以下提示:
2021-10-15 13:26:36,101 INFO ha.BootstrapStandby: Found nn: nn1, ipc: node1/192.168.20.101:9820
=====================================================
About to bootstrap Standby ID nn2 from:
Nameservice ID: mycluster
Other Namenode ID: nn1
Other NN's HTTP address: http://node1:9870
Other NN's IPC address: node1/192.168.20.101:9820
Namespace ID: 1743499963
Block pool ID: BP-166908272-192.168.20.101-1634275293276
Cluster ID: CID-38fac5df-ed87-46c5-a4e0-f92ce7008c07
Layout version: -64
isUpgradeFinalized: true
=====================================================
#启动NameNode
[root@node2 ~]# hdfs --daemon start namenode
[root@node2 ~]# jps
7249 QuorumPeerMain
8019 Jps
7466 JournalNode
7980 NameNode # 看到NameNode进程表示NameNode正常启动了。
e) 初始化zookeeper上的内容 一定是在namenode节点(node1或node2)上。
执行格式命令之前在node2-node4任一节点上:
xxxxxxxxxx
[root@node4 hadoop]# zkCli.sh
[zk: localhost:2181(CONNECTED) 1] ls /
[itbaizhan, registry, wzyy, zk001, zookeeper]