下面是关于“eclipse/intellij idea 远程调试hadoop 2.6.0”的完整攻略：

简介

在分布式系统开发过程中，我们可能需要对运行在远端的Hadoop集群上的代码进行调试。这时，我们就需要进行远程调试。本文将介绍如何使用Eclipse/IntelliJ IDEA进行远程调试Hadoop 2.6.0，以及具体的步骤和示例。

调试前准备

配置Hadoop

首先，在Hadoop配置文件中添加以下的配置项：

<property>
  <name>mapreduce.task.debug.outer.classpath</name>
  <value>/usr/local/hadoop-2.6.0/share/hadoop/mapreduce/*:/usr/local/hadoop-2.6.0/share/hadoop/common/*:/usr/local/hadoop-2.6.0/share/hadoop/common/lib/*:/usr/local/hadoop-2.6.0/share/hadoop/hdfs/*:/usr/local/hadoop-2.6.0/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.6.0/share/hadoop/yarn/*:/usr/local/hadoop-2.6.0/share/hadoop/yarn/lib/*</value>
</property>

这个配置项会把Hadoop的各项依赖库添加到调试用的class path中。

连接Eclipse/IntelliJ IDEA到远程Hadoop

在Eclipse/IntelliJ IDEA中，需要新建一个远程Debug配置。具体操作可以参考Eclipse远程调试教程或IntelliJ IDEA远程调试教程。

具体步骤如下：

在Eclipse/IntelliJ IDEA中，选择Debug Configuration。
添加一个新的Remote Java Application配置，并在configuration下设置正确的IP和端口号。

在这个过程中，需要确定Hadoop所在机器的IP地址和端口号。在Hadoop的配置文件中，我们可以找到以下配置项：

<property>
  <name>mapreduce.task.debug.address</name>
  <value>0.0.0.0:5005</value>
</property>

端口号在这个配置项中。确定IP地址和端口号之后，就可以在Remote Java Application配置中设置正确的IP和端口号了。

调试步骤

在Eclipse/IntelliJ IDEA中启动远程Debug服务

在Eclipse/IntelliJ IDEA中，点击Debug按钮，启动远程Debug服务。如果一切正常，Eclipse/IntelliJ IDEA会等待与远程Hadoop建立连接。

启动Hadoop的Job

现在，在Hadoop集群中运行一个Job，例如WordCount。可以使用以下命令进行运行:

hadoop jar /usr/local/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input /output

当Job启动后，Eclipse/IntelliJ IDEA会停在第一个断点处。此时，可以执行调试，就像在本地环境中一样。

示例

示例1

这是一个简单的WordCount例子。在Hadoop中，我们有一个输入文件input.txt，其中的内容如下：

this is a test

需要统计每个单词的数量。在本地运行该程序，我们可以运行以下代码：

public class WordCount {
  public static void main(String[] args) throws Exception {
      Configuration conf = new Configuration();
      Job job = Job.getInstance(conf, "Word Count");
      job.setJarByClass(WordCount.class);
      job.setMapperClass(TokenizerMapper.class);
      job.setCombinerClass(IntSumReducer.class);
      job.setReducerClass(IntSumReducer.class);
      job.setOutputKeyClass(Text.class);
      job.setOutputValueClass(IntWritable.class);
      FileInputFormat.addInputPath(job, new Path(args[0]));
      FileOutputFormat.setOutputPath(job, new Path(args[1]));
      System.exit(job.waitForCompletion(true) ? 0 : 1);
  }

  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }

  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }
}

在远程调试中，我们可以通过设置断点，来调试Map阶段和Reduce阶段中的代码。

示例2

以下是另一个示例，展示了如何在远程调试过程中，查看和观察本地和远端变量的值。

public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private String taskAttemptId;
    private int counter = 0;

    /* Map 初始化阶段调用 */
    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        taskAttemptId = context.getTaskAttemptID().getTaskID().toString();
        System.out.println("MyMapper Setup: " + taskAttemptId);
    }

    /* Map 每一个数据块都会调用一次 */
    @Override
    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] tokens = value.toString().split("\\s+");   //可能使用空格作为分隔符

        for (String token : tokens) {
            context.write(new Text(token), new IntWritable(1));
        }

        if (counter % 100 == 0) {
            System.out.println("MyMapper Counter: " + counter + " - Task Attempt ID: " + taskAttemptId);
        }
        counter++;
    }

    /* Map 销毁阶段调用 */
    @Override
    protected void cleanup(Context context) throws IOException, InterruptedException {
        System.out.println("MyMapper Cleanup: " + taskAttemptId);
    }
}

在这个例子中，我们使用System.out.println()来打印每一个Mapper中的taskAttemptId和counter值。这些信息可以通过Eclipse/IntelliJ IDEA的Debug视图，来观察和统计。

结论

Eclipse/IntelliJ IDEA的远程调试功能，为我们带来了方便快捷的调试工具。我们可以在本地环境中编写、调试和测试代码，在将代码部署到远端时，使用远程调试工具进行Debug和测试。这些操作都不会影响到Hadoop集群的运行状态，从而提升了开发效率和代码质量。

阅读剩余 72%

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：eclipse/intellij idea 远程调试hadoop 2.6.0 - Python技术站

eclipse/intellij idea 远程调试hadoop 2.6.0

简介