通用MapReduce程序复制HBase表数据

通用 MapReduce 程序复制 HBase 表数据是一种将 HBase 表的数据复制到其他数据源的方式，该方式可以使用 MapReduce 技术流对 HBase 中的数据进行批量处理，然后将结果复制到其他数据源中。下面是通用 MapReduce 程序复制 HBase 表数据的详细攻略：

1. 安装 HBase 和 MapReduce

首先需要安装 HBase 和 MapReduce。可以访问 HBase 和 MapReduce 的官网或者使用相关工具进行安装。

2. 准备 MapReduce 程序代码

下面是一段示例代码：

public class HBaseCopy {

    public static void main(String[] args) throws Exception {
        Configuration conf = HBaseConfiguration.create();
        Job job = Job.getInstance(conf, "HBase Copy Job");

        job.setJarByClass(HBaseCopy.class);
        job.setMapperClass(HBaseCopyMapper.class);

        job.setInputFormatClass(TableInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);

        TableMapReduceUtil.initTableMapperJob("source_table", new Scan(), HBaseCopyMapper.class, ImmutableBytesWritable.class, Put.class, job);

        FileOutputFormat.setOutputPath(job, new Path("output"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

public class HBaseCopyMapper extends TableMapper<ImmutableBytesWritable, Put> {

    @Override
    public void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
        Put put = new Put(key.get());
        for (Cell cell : value.rawCells()) {
            put.add(cell);
        }
        context.write(key, put);
    }
}

该程序使用 HBase 特有的 TableInputFormat 和 TextOutputFormat 类来设置输入和输出格式。其中，TableInputFormat 用于从 HBase 表中读取数据，TextOutputFormat 用于将输出写入到文本文件中。

3. 运行程序

使用以下命令运行程序：

hadoop jar hbase-copy.jar HBaseCopy

程序运行后，会从 source_table 中读取数据并将数据写入到 output 目录中的文本文件中。

示例一：将 HBase 中的数据复制到 Hive

在这个示例中，我们将 HBase 表的数据复制到 Hive 中。首先需要创建 Hive 表：

CREATE TABLE target_table (col1 STRING, col2 STRING, col3 INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

然后修改程序的输出格式，改为 HiveOutputFormat：

job.setOutputFormatClass(HiveOutputFormat.class);
HiveOutputFormat.setOutput(job, "target_table", "col1", "col2", "col3");

接下来运行程序：

hadoop jar hbase-copy.jar HBaseCopy

程序运行后，会将 HBase 中的数据复制到 Hive 表中。

示例二：将 HBase 中的数据复制到 HDFS

在这个示例中，我们将 HBase 表的数据复制到 HDFS 中。首先需要创建 HDFS 目录：

hadoop fs -mkdir /hbase-copy

然后修改程序的输出路径，改为 HDFS 位置：

FileOutputFormat.setOutputPath(job, new Path("/hbase-copy"));

接下来运行程序：

hadoop jar hbase-copy.jar HBaseCopy

程序运行后，会将 HBase 中的数据复制到 HDFS 目录中。