CentOS安装Hadoop
首先换源
CentOS_yum换源
1. 安装java
1
| sudo yum install java-1.8.0-openjdk-devel.x86_64
|
2. 安装Hadoop
下载hadoop安装包(推荐3.x版本)
这里使用中科大镜像
1
| wget https://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.10.2/hadoop-2.10.2.tar.gz
|
3.x版本
1
| wget https://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
|
更多版本:
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common
https://mirrors.ustc.edu.cn/apache/hadoop/common
官网(速度极慢)
1
| wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
|
解压安装包
1
| sudo tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local
|
设置环境变量
编辑配置文件,
vim 命令模式操作 G跳转到末尾行, o从下一行行首开始编辑
将以下内容添加到profile末尾
1
2
3
4
5
6
7
8
9
|
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
|
使配置文件生效
编辑hadoop-env
1
| sudo vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
|
在末尾添加
1
| export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
|
测试是否成功
3. HDFS配置
参考链接
4.0 HDFS 配置与使用 | 菜鸟教程
切换到配置文件目录
1
| cd $HADOOP_HOME/etc/hadoop
|
在 core-site.xml 中，我们在 标签下添加属性：
1
2
3
4
| <property>
<name>fs.defaultFS</name>
<value>hdfs://<你的IP>:9000</value>
</property>
|
在 hdfs-site.xml 中的 标签下添加属性：
1
2
3
4
| <property>
<name>dfs.replication</name>
<value>1</value>
</property>
|
格式化文件结构：
启动 HDFS：
生成 SSH 密钥：
1
2
| cd ~/.ssh/
ssh-keygen -t rsa
|
这里可以一直按回车直到生成结束。
然后将生成的密钥添加到信任列表：
1
| cat id_rsa.pub >> authorized_keys
|
修改文件权限
1
| chmod 600 ./authorized_keys
|
启动hdfs
Hadoop常用端口说明
hadoop常用端口号_南洲.的博客-CSDN博客_hdfs默认端口是8020还是9000
hadoop2.x
HDFS Namenode内部通常端口:8020/9000
HDFS Namenode对用户的查询端口:50070
Yarn查看任务运行情况的:8088
历史服务器:19888
hadoop3.x
HDFS Namenode内部通常端口:8020/9000/9820
HDFS Namenode对用户的査询端口:9870
Yarn查看任务运行情况的:8088
历史服务器:19888
docker安装hadoop
2.0 Hadoop 运行环境 | 菜鸟教程