Hadoop 全面解读自定义分区

什么是分区

在 Hadoop 中，分区是指在将数据写入到 HDFS 中时，对数据进行分类以便于管理。在每个分区中，都包含了一部分数据，每个分区都有一个固定的编号。

默认分区

当我们使用 Hadoop 内置的 MR 程序时，所有的数据都将会按照默认的哈希分区规则进行分区。一般情况下，分区的数量是由系统自动计算的。

自定义分区

如果我们提供了自定义的分区规则，那么数据就可以按照我们的规则进行分区。为了实现自定义分区，我们需要创建一个继承于 Partitioner 类的分区器，并通过 JobConf 设置对应的分区器类名。

作为自定义分区，我们需要重写 getPartition 方法。在每个 map 和 reduce 的过程中，Hadoop 都会调用该方法，根据该方法的返回值来选择数据应该被分到哪个分区。

以下是一个简单的自定义分区示例：

public class MyPartitioner extends Partitioner<Text, IntWritable> {

    public int getPartition(Text key, IntWritable value, int numPartitions) {

        if (value.get() <= 10) {
            return 0;
        } else if (value.get() > 10 && value.get() <= 20) {
            return 1;
        } else {
            return 2;
        }
    }
}

示例中，我们通过对数据的值进行判断，将数据分为了三个分区，并返回对应的分区编号。

示例一

假设我们有如下的数据集：

hello 3
world 7
hadoop 11
mapreduce 19

我们希望将这些数据按照值的大小分为 2 个分区：

public class MyPartitioner extends Partitioner<Text, IntWritable> {

    public int getPartition(Text key, IntWritable value, int numPartitions) {

        if (value.get() <= 10) {
            return 0;
        } else {
            return 1;
        }
    }    
}

经过处理后，数据将被分为两个分区：

（分区一）
hello   3
world   7
hadoop  11

（分区二）
mapreduce   19

示例二

假设我们有如下的数据集：

1111 2
3333 4 
2222 1
4444 3

我们希望将数据按照 key 的第一个数字进行分区，分为 2 个分区：

public class MyPartitioner extends Partitioner<Text, IntWritable> {

    public int getPartition(Text key, IntWritable value, int numPartitions) {

        int firstNum = Integer.parseInt(key.toString().substring(0, 1));

        if (firstNum % 2 == 0) {
            return 0;
        } else {
            return 1;
        }
    }
}

经过处理后，数据将被分为两个分区：

（分区一）
1111    2
2222    1

（分区二）
3333    4
4444    3

总结

自定义分区可以让我们按照自己的意愿进行数据分区，进而更好的进行数据管理和数据分析。使用自定义分区需要我们深入理解 Hadoop 的分布式计算实现，并且需要我们具备一定的编程技能。