Fedora 20上安装Hadoop-2.5.1
Hadoop是一个开源的分布式系统框架,用于处理大规模数据的存储和计算。本文介绍了在Fedora 20系统上安装Hadoop-2.5.1的步骤以及可能遇到的问题和解决方法。
安装Java
Hadoop是用Java编写的,因此需要先安装JDK。
- 打开终端,输入以下命令安装JDK:
bash
sudo dnf install java-devel
- 验证Java是否安装成功,输入以下命令:
bash
java -version
如果您已经成功安装了JDK,将显示Java版本信息。
下载和解压Hadoop
-
打开Hadoop官方网站,找到Hadoop-2.5.1版本的下载链接。
-
下载Hadoop-2.5.1源代码,例如:
bash
wget https://archive.apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1-src.tar.gz
- 解压源代码文件:
bash
tar -xzvf hadoop-2.5.1-src.tar.gz
解压后的文件将放置在当前目录下的hadoop-2.5.1目录中。
配置Hadoop
- 在${HADOOP_HOME}/etc/hadoop目录中,创建hadoop-env.sh文件:
bash
cd hadoop-2.5.1-src
cd etc/hadoop
cp hadoop-env.sh.template hadoop-env.sh
sudo nano hadoop-env.sh
- 找到以下行:
bash
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
并将其更改为:
bash
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
- 编辑core-site.xml:
bash
sudo nano core-site.xml
- 添加以下内容:
xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 编辑hdfs-site.xml:
bash
sudo nano hdfs-site.xml
- 添加以下内容:
xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/nameNode</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/dataNode</value>
<final>true</final>
</property>
</configuration>
启动Hadoop
- 在终端中进入hadoop-2.5.1-src目录:
bash
cd ~/hadoop-2.5.1-src
- 格式化HDFS文件系统:
bash
bin/hdfs namenode -format
- 启动HDFS和YARN服务:
bash
sbin/start-dfs.sh
sbin/start-yarn.sh
- 检查Hadoop是否正在运行:
bash
jps
如果一切正常,您应该会看到如下输出:
5122 NameNode
5243 SecondaryNameNode
5346 DataNode
5481 ResourceManager
5543 NodeManager
5669 Jps
以上就是在Fedora 20系统上安装Hadoop-2.5.1的步骤。如果您遇到问题,可以查看hadoop-2.5.1-src目录中的文档,或者在Hadoop官方网站上查找相关文档。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:fedora20安装hadoop-2.5.1 - Python技术站