利用Java连接Hadoop进行编程

利用Java连接Hadoop进行编程的完整攻略

准备工作

1. 安装开发和运行Hadoop所需的Java环境。推荐使用Java 1.8版本。
2. 下载并解压Hadoop软件包。
3. 配置Hadoop环境变量。

写一个Java程序来连接Hadoop

下面是一个简单的Java程序，它能够连接到Hadoop集群，读取一个文件，并输出每行的内容。该程序主要使用Hadoop的MapReduce框架实现。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class ReadFileFromHDFS {
    public static class Map extends Mapper<LongWritable, Text, Text, Text> {
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            context.write(new Text(""), value);
        }
    }

    public static class Reduce extends Reducer<Text, Text, Text, Text> {
        private Text result = new Text();

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            for (Text value : values) {
                result.set(value);
                context.write(key, result);
            }
        }
    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        JobConf jobConf = new JobConf(conf);

        Job job = new Job(jobConf);
        job.setJarByClass(ReadFileFromHDFS.class);
        job.setJobName("WordCount");

        FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/your/path/to/input/file"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/your/path/to/output/file"));

        job.setMapperClass(Map.class);
        job.setReducerClass(Reduce.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        job.waitForCompletion(true);
    }
}

示例1：读取HDFS中的文件

假设我们有一个名为wordcount.txt的文件存储在HDFS上，在用户的主目录下。为了读取该文件，我们需要显示指定HDFS的URI，如'hdfs://localhost:9000/user/wordcount.txt'。

1. 将以上的Java程序保存为Java文件，如ReadFileFromHDFS.java。
2. 使用javac编译该Java程序得到一个.class文件，如下所示：

$ javac ReadFileFromHDFS.java

1. 运行该程序，指定HDFS的输入文件和输出文件，如下所示：

$ java ReadFileFromHDFS hdfs://localhost:9000/user/wordcount.txt hdfs://localhost:9000/user/output

示例2：在HDFS中创建、写入与读出文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class WriteFileToHDFS {
    public static void main(String[] args) throws IOException {
        Configuration config = new Configuration();
        config.set("fs.defaultFS", "hdfs://localhost:9000"); // 设置HDFS的默认FS

        FileSystem hdfs = FileSystem.get(config);

        String fileName = "/user/testfile.txt";
        Path file = new Path(fileName);

        if (hdfs.exists(file)) {
            hdfs.delete(file, true);
        }

        String testContent = "This is a test file!";
        byte[] data = testContent.getBytes();

        try (FileSystem fs = FileSystem.get(config);) {
            Path dst = new Path(fileName);
            try (FSDataOutputStream outputStream = fs.create(dst)) {
                outputStream.write(data);
                outputStream.flush();
            }
        }

        try (FileSystem fs = FileSystem.get(config);) {
            Path dst = new Path(fileName);
            try (FSDataInputStream inputStream = fs.open(dst)) {
                byte[] buffer = new byte[data.length];
                inputStream.readFully(0, buffer);
                System.out.println("Data from file: " + new String(buffer));
            }
        }

        hdfs.close();
    }
}

以上Java程序实现了向HDFS中写入数据，并从HDFS中读出数据，程序的输出为：

Data from file: This is a test file!

以上两个示例可以帮助你初步了解如何使用Java连接Hadoop进行编程，同时也让你更加熟悉Hadoop在具体业务场景中的应用，也可以作为日常Java与Hadoop交互的脚手架程序。