在IDEA中安装scala、maven、hadoop遇到的问题小结

下面是详细讲解“在IDEA中安装Scala、Maven、Hadoop遇到的问题小结”的完整攻略：

安装Scala

下载安装包

首先，需要下载Scala的安装包，可以从官网 https://www.scala-lang.org/download/ 选择合适的版本进行下载。

解压并配置环境变量

下载完成后，将压缩包解压到指定目录（例如在Windows系统中解压到C:\scala-2.13.5目录下），然后配置系统环境变量，在Path中添加Scala的bin目录（例如C:\scala-2.13.5\bin）。

在IDEA中配置Scala SDK

打开IntelliJ IDEA，选择File -> Settings，在左侧栏中选择Project Settings -> SDKs，点击+号选择Scala SDK，指定Scala的安装目录（例如C:\scala-2.13.5）并点击OK。

至此，Scala的安装配置工作完成。

安装Maven

下载安装包

先从官网 https://maven.apache.org/download.cgi 下载合适的Maven版本，例如假设下载了3.6.3版本的Maven，下载后解压到指定目录（例如在Windows系统中解压到C:\apache-maven-3.6.3目录下）。

设置环境变量

配置系统环境变量，在Path中添加Maven的bin目录（例如C:\apache-maven-3.6.3\bin）。

在IDEA中配置Maven

打开IntelliJ IDEA，选择File -> Settings，在左侧栏中选择Build, Execution, Deployment -> Build Tools -> Maven，指定本地Maven安装目录（例如C:\apache-maven-3.6.3）并点击OK。

至此，Maven的安装配置工作完成。

安装Hadoop

下载安装包

从官网 https://hadoop.apache.org/releases.html 下载合适的Hadoop版本，例如假设下载了3.2.2版本的Hadoop，下载后解压到指定目录（例如在Windows系统中解压到C:\hadoop-3.2.2目录下）。

配置环境变量

配置系统环境变量，在Path中添加Hadoop的bin目录（例如C:\hadoop-3.2.2\bin）。

在IDEA中配置Hadoop SDK

打开IntelliJ IDEA，选择File -> Settings，在左侧栏中选择Languages & Frameworks -> Hadoop，点击+号选择Hadoop SDK，指定Hadoop的安装目录（例如C:\hadoop-3.2.2），并在Hadoop configuration files中指定Hadoop的配置文件（例如C:\hadoop-3.2.2\etc\hadoop\core-site.xml、C:\hadoop-3.2.2\etc\hadoop\hdfs-site.xml等），最后点击OK。

至此，Hadoop的安装配置工作完成。

示例一：使用Scala与Maven构建Spark项目

下面以一个Spark项目为例，展示Scala与Maven的用法。

首先在IntelliJ IDEA中创建一个Maven项目，选择File -> New -> Project，选择Maven，指定项目名称及路径，然后在下一步中选则Scala作为项目的主程序语言（如果IDEA中未安装Scala SDK，则需先进行Scala的安装配置），最后点击Finish。

然后，在pom.xml中添加Spark相关依赖，例如：

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.13</artifactId>
  <version>3.0.1</version>
</dependency>

接下来，编写Scala的SPARK代码并运行，例如：

import org.apache.spark._
import org.apache.spark.SparkContext._

object WordCount {
  def main(args: Array[String]) {
    val sc = new SparkContext(new SparkConf().setAppName("WordCount"))
    val textFile = sc.textFile("file:///opt/spark/README.md")
    val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
    wordCount.foreach(println)
  }
}

最后，在IDEA的Terminal中执行mvn package进行项目打包，然后在target目录下可以找到一个JAR文件，使用spark-submit命令提交该JAR文件即可在集群上运行此Spark应用。

示例二：使用Scala离线运行Hadoop应用

为了离线运行Hadoop应用，首先应该在开发机上安装Hadoop。然后，创建一个Scala项目，在pom.xml中添加hadoop相关依赖，例如：

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.2.2</version>
</dependency>

然后编写Scala的Hadoop代码，并在项目中添加Hadoop的配置文件（例如：core-site.xml、hdfs-site.xml等），例如：

import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration

object HdfsTest {
  def main(args: Array[String]): Unit = {
    val fs = FileSystem.get(new Configuration())
    val fileStatusArr = fs.listStatus(new Path("/"))
    fileStatusArr.foreach(fileStatus => {
      println(fileStatus.getPath.toString)
    })
  }
}

最后在IDEA中执行Scala代码即可离线运行Hadoop应用。