Hadoop自学系列集(三) --- Hadoop安装

本文将介绍如何安装配置Hadoop单机伪分布式环境，以及如何验证Hadoop安装是否成功。

准备工作

在开始安装Hadoop之前，需要进行以下准备工作：

1. Java环境：Hadoop是基于Java编写的，因此需要先安装Java环境，版本需为Java 8及以上版本。

2. Hadoop安装包：可以从官网http://hadoop.apache.org下载最新的Hadoop安装包，本教程基于Hadoop 3.2.2版本进行安装演示。

Hadoop安装步骤

第一步：解压安装包

使用以下命令解压Hadoop安装包：

tar -zxvf hadoop-3.2.2.tar.gz

第二步：修改配置文件

进入Hadoop的安装目录，修改以下配置文件：

1. etc/hadoop/hadoop-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

将/usr/lib/jvm/java-8-openjdk-amd64改为Java环境的安装路径。

1. etc/hadoop/core-site.xml：

<configuration>
   <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
   </property>
</configuration>

1. etc/hadoop/hdfs-site.xml：

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
   <property>
      <name>dfs.namenode.name.dir</name>
      <value>/usr/local/hadoop/hadoopdata/hdfs/namenode</value>
   </property>
   <property>
      <name>dfs.datanode.data.dir</name>
      <value>/usr/local/hadoop/hadoopdata/hdfs/datanode</value>
   </property>
</configuration>

其中，dfs.namenode.name.dir和dfs.datanode.data.dir为Hadoop的数据存储路径，需要提前创建并赋予相应的权限。

第三步：启动Hadoop

使用以下命令启动Hadoop：

sbin/start-all.sh

第四步：检查状态

使用以下命令检查Hadoop的状态：

jps

如果出现以下进程，则说明Hadoop启动成功：

5145 Jps
4707 ResourceManager
4584 NameNode
4817 NodeManager
4930 JobHistoryServer
4652 DataNode

第五步：验证Hadoop

通过以下命令创建Hadoop的测试目录：

hdfs dfs -mkdir /input

使用以下命令在创建的测试目录中上传测试文件：

hdfs dfs -put etc/hadoop/*.xml /input

使用以下命令验证文件是否被成功上传：

hdfs dfs -ls /input

如果输出以下内容，则说明测试成功：

-rw-r--r--   1 user supergroup      51434 2021-06-21 02:51 /input/core-site.xml
-rw-r--r--   1 user supergroup       4462 2021-06-21 02:51 /input/hadoop-env.sh
-rw-r--r--   1 user supergroup      30155 2021-06-21 02:51 /input/hdfs-site.xml
-rw-r--r--   1 user supergroup      12091 2021-06-21 02:51 /input/mapred-site.xml

总结

本文介绍了如何安装配置Hadoop单机伪分布式环境以及验证Hadoop安装是否成功。在实际使用Hadoop过程中，可能会遇到其他问题，需要结合具体的操作系统和Hadoop版本进行解决。