详解搭建ubuntu版hadoop集群

详解搭建Ubuntu版Hadoop集群

Hadoop是一个分布式计算框架,能够快速处理海量数据。本文将介绍如何在Ubuntu上搭建Hadoop集群。

环境准备

在开始搭建之前,我们需要准备以下环境:

  • 3台Ubuntu Server,分别作为Master和两个Slave
  • JDK 1.8
  • Hadoop 3.3.1

安装JDK

Hadoop运行需要JDK的支持。我们可以通过以下命令安装JDK 1.8:

sudo apt-get update
sudo apt-get install openjdk-8-jdk

安装Hadoop

  1. 下载Hadoop

我们到Hadoop官网下载Hadoop 3.3.1

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  1. 解压Hadoop
tar -zxvf hadoop-3.3.1.tar.gz
  1. 配置Hadoop环境变量
sudo nano /etc/profile

在文件结尾处添加:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
  1. 配置Hadoop

进入Hadoop目录并编辑配置文件:

cd hadoop-3.3.1/etc/hadoop/
sudo nano hadoop-env.sh

找到以下行,将JAVA_HOME设置为已经安装的JDK路径:

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/

打开core-site.xml配置文件并添加以下内容:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

打开hdfs-site.xml并添加以下内容:

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/data/nameNode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/data/dataNode</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>

打开mapred-site.xml并添加以下内容:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

打开yarn-site.xml并添加以下内容:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
  1. 将Hadoop安装到Slave机器上

将Hadoop解压到Slave节点上,将master节点中的Hadoop配置文件拷贝到Slave节点上。

  1. 启动Hadoop

在Master节点上启动Hadoop:

start-all.sh

检查集群是否正常运行:

jps

如果输出以下信息,则表示Hadoop集群正常运行:

16209 NameNode
16354 ResourceManager
16420 SecondaryNameNode

示例1:上传文件至Hadoop集群

我们可以使用Hadoop自带的命令行工具hdfs将一个本地文件上传到Hadoop集群中。

  1. 在Master节点上创建输入文件夹:
hadoop fs -mkdir input
  1. 将本地文件上传到Hadoop集群:
hadoop fs -put /home/user/input/sample.txt input
  1. 查看上传的文件内容:
hadoop fs -cat input/sample.txt

输出以下内容,则表示上传成功:

Hello Hadoop!

示例2:运行Hadoop示例

Hadoop自带的wordcount示例可以帮助我们快速了解Hadoop集群的运作方式。

  1. 准备输入文件

在本地创建输入文件sample.txt,内容如下:

Hello Hadoop!
Hello MapReduce!
  1. 上传输入文件

与示例1相同,上传文件至Hadoop集群。

  1. 运行wordcount示例
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount input/ output/

示例会自动运行MapReduce任务并将输出文件保存至output文件夹。

  1. 查看输出文件
hadoop fs -cat output/part-r-00000

输出以下内容,则表示示例运行成功:

Hadoop!     1
Hello       2
MapReduce!  1

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:详解搭建ubuntu版hadoop集群 - Python技术站

(0)
上一篇 2023年5月24日
下一篇 2023年5月24日

相关文章

  • linux yum安装指定版本mysql的教程详解

    Linux yum安装指定版本MySQL的教程详解 在Linux系统中,yum是一个非常强大的包管理器,可以方便地安装和升级软件包。本文将详细介绍使用yum安装指定版本的MySQL数据库的步骤。 步骤一:安装MySQL官方yum源 MySQL官网提供了自己的yum源,可以从官方yum源中安装特定版本的MySQL。将官方yum源添加到您的系统中的步骤如下: 下…

    Linux 2023年5月14日
    00
  • 常用的文件查看命令

    cat命令 文件处理 cat命令连接文件并打印到标准输出设备上,cat经常用来显示文件的内容,类似于下的type命令。 注意:当文件较大时,文本在屏幕上迅速闪过(滚屏),用户往往看不清所显示的内容。因此,一般用more等命令分屏显示。为了控制滚屏,可以按Ctrl+S键,停止滚屏;按Ctrl+Q键可以恢复滚屏。按Ctrl+C(中断)键可以终止该命令的执行,并且…

    Linux 2023年4月10日
    00
  • Apache服务器配置全攻略

    以下是“Apache服务器配置全攻略”的完整使用攻略,包含两个示例说明。 步骤 安装Apache服务器。在终端中输入以下命: bash sudo apt-get update sudo apt-get install apache 启动Apache服务器在终端中输入以下命令 bash sudo systemctl start apache2 配置防火墙以允许…

    Linux 2023年5月13日
    00
  • apache的源码安装详细过程全纪录

    以下是“Apache的源码安装详细过程全纪录”的完整使用攻略,包含两个示例说明。 步骤 下载Apache源码。在终端中输入以下命令: bash wget https://www.apache.org/dist/httpd/httpd-2.4.46.tar.gz 将“httpd-2.4.46.tar.gz”替换为您要下载的Apache版本。 解压Apache源…

    Linux 2023年5月13日
    00
  • 面试官:服务器最大可以创建多少个tcp连接以及端口并解释下你对文件句柄的理解

    转载请注明出处:   1.最大可以创建多少个tcp连接   服务器最大可以创建多少个TCP连接取决于多个因素,例如服务器的硬件配置、网络带宽、操作系统设置等。一般来说,现代服务器的硬件资源和网络带宽都比较充足,因此可以创建大量的TCP连接。然而,服务器在创建TCP连接时也会有一些限制,例如操作系统会限制每个进程打开的文件句柄数量,从而限制了服务器可以创建的T…

    Linux 2023年4月13日
    00
  • V3s录音 交叉编译alsa linux

    1.下载alsa-lib和alsa-utils  www.alsa-project.org/main/index.php/Download 2.编译alsa-lib tar xvf alsa-lib-1.1.5.tar.bz2 #解压 sync cd alsa-lib-1.1.5/ MyDIR=”/usr/local/alsa” ./configure –…

    Linux 2023年4月13日
    00
  • 在虚拟机virtualbox中安装ubuntu的图文教程

    下面是在VirtualBox中安装Ubuntu的图文教程: 1. 下载Ubuntu镜像文件 在 https://ubuntu.com/download 上下载你需要的Ubuntu版本的ISO镜像文件。 2. 创建新的虚拟机 打开VirtualBox,点击菜单栏上的“新建”按钮,按照“向导”创建新的虚拟机。 在创建过程中,需要设置虚拟机名称、操作系统类型、分配…

    Linux 2023年5月24日
    00
  • VirtualBox虚拟机安装CentOS 7详细教程

    VirtualBox虚拟机安装CentOS 7详细教程 本教程将详细介绍如何在VirtualBox中安装CentOS 7系统,并提供图文并茂的步骤说明和示例。以下内容将由安装VirtualBox到安装完整的CentOS 7系统为主要内容。 安装VirtualBox 首先,在VirtualBox官网下载适合您操作系统的安装包,并安装。 打开VirtualBox…

    Linux 2023年5月24日
    00
合作推广
合作推广
分享本页
返回顶部