大数据全系列 教程
1869个小节阅读:467.1k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
##4.3 集群搭建实战
Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/
将hadoop安装文件上传到node1的/opt/apps目录下,并解压到/opt目录下
xxxxxxxxxx
#创建一个用户,默认会创建一个同名的用户组
[root@node1 ~]# useradd itbaizhan
#解压
[root@node1 ~]# cd /opt/apps
[root@node1 apps]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt
重要目录
xxxxxxxxxx
[root@node1 apps]# cd /opt
[root@node1 opt]# ll
总用量 0
drwxr-xr-x 2 root root 33 10月 8 13:03 apps
drwxr-xr-x 9 itbaizhan itbaizhan 149 9月 12 2019 hadoop-3.1.3
[root@node1 opt]# vim /etc/passwd
[root@node1 opt]# cd hadoop-3.1.3/
[root@node1 hadoop-3.1.3]# ll
总用量 176
drwxr-xr-x 2 itbaizhan itbaizhan 183 9月 12 2019 bin
drwxr-xr-x 3 itbaizhan itbaizhan 20 9月 12 2019 etc
drwxr-xr-x 2 itbaizhan itbaizhan 106 9月 12 2019 include
drwxr-xr-x 3 itbaizhan itbaizhan 20 9月 12 2019 lib
drwxr-xr-x 4 itbaizhan itbaizhan 288 9月 12 2019 libexec
-rw-rw-r-- 1 itbaizhan itbaizhan 147145 9月 4 2019 LICENSE.txt
-rw-rw-r-- 1 itbaizhan itbaizhan 21867 9月 4 2019 NOTICE.txt
-rw-rw-r-- 1 itbaizhan itbaizhan 1366 9月 4 2019 README.txt
drwxr-xr-x 3 itbaizhan itbaizhan 4096 9月 12 2019 sbin
drwxr-xr-x 4 itbaizhan itbaizhan 31 9月 12 2019 share
配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。
要获取的默认文件 | 文件存放在Hadoop的jar包中的位置 |
---|---|
[core-default.xml] | hadoop-common-3.1.3.jar/ core-default.xml |
[hdfs-default.xml] | hadoop-hdfs-3.1.3.jar/ hdfs-default.xml |
core-site.xml、hdfs-site.xml两个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求重新进行修改配置。
文件 | 作用 |
---|---|
hadoop-env.sh | 找jdk环境变量 |
workers(hadoop2.x中的名称slaves ) | 指定datanode节点 |
core-site.xml | 涉及到的参数如果没有配置,找对应的默认文件中的配置 |
hdfs-site.xml | 涉及到的参数如果没有配置,找对应的默认文件中的配置 |
Daemon | App | Hadoop2 | Hadoop3 |
---|---|---|---|
NameNode Port | Hadoop HDFS NameNode | 8020 / 9000 | 9820 |
Hadoop HDFS NameNode HTTP UI | 50070 | 9870 | |
Secondary NameNode Port | Secondary NameNode | 50091 | 9869 |
Secondary NameNode HTTP UI | 50090 | 9868 | |
DataNode Port | Hadoop HDFS DataNode IPC | 50020 | 9867 |
Hadoop HDFS DataNode | 50010 | 9866 | |
Hadoop HDFS DataNode HTTP UI | 50075 | 9864 |