JAVA读取HDFS的文件数据出现乱码的解决方案

下面我将详细讲解“JAVA读取HDFS的文件数据出现乱码的解决方案”的完整攻略。

问题描述

在使用Java程序从HDFS上读取文件数据时，有时会遇到读取文件出现乱码的问题。

原因分析

文件编码格式不同造成乱码，HDFS文件编码格式默认为UTF-8，但是有些文件格式如GBK、GB2312等其他编码格式，此时读取会出现乱码。

解决方案

方案一：使用字符编码转换

在Java程序读取HDFS文件时，可以使用字符编码转换来将文件编码格式转换成正确的字符编码格式，避免乱码的问题。示例如下：

Path path = new Path(filePath);
FileSystem fileSystem = FileSystem.get(configuration);
FSDataInputStream inputStream = fs.open(path);
InputStreamReader inputStreamReader = new InputStreamReader(inputStream , "GBK");
BufferedReader bufferedReader = new BufferedReader(inputStreamReader);

其中，GBK即为需要转换成的字符编码格式，可以根据实际需求来设置。

方案二：修改文件编码格式

在使用Java程序从HDFS上读取文件数据时，我们也可以将文件的编码格式修改为UTF-8，以保证读取时不出现乱码。可以使用hdfs命令行工具来修改文件编码格式，示例如下：

hdfs dfs -text /input/file.txt | iconv -f GBK -t UTF-8 | hdfs dfs -put - /output/file.txt

其中，/input/file.txt为原始文件路径，/output/file.txt为修改后的文件路径，GBK为原始文件编码格式，UTF-8为修改后的文件编码格式。

示例

假设有一个HDFS上的文件，文件路径为/input/test.txt，文件内容为：

中国

当我们使用Java程序读取文件时，由于该文件的编码格式为GBK，所以会出现乱码现象。此时我们可以使用方案一或方案二来解决该问题。

方案一示例

Path path = new Path("/input/test.txt");
FileSystem fileSystem = FileSystem.get(configuration);
FSDataInputStream inputStream = fs.open(path);
InputStreamReader inputStreamReader = new InputStreamReader(inputStream , "GBK");
BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
String line;
while((line = bufferedReader.readLine()) != null) {
    System.out.println(line);
}

输出结果为：

涓枃

可以看到，输出结果出现了乱码。我们可以使用字符编码转换来将文件编码格式转换成正确的字符编码格式，避免乱码的问题。示例如下：

Path path = new Path("/input/test.txt");
FileSystem fileSystem = FileSystem.get(configuration);
FSDataInputStream inputStream = fs.open(path);
InputStreamReader inputStreamReader = new InputStreamReader(inputStream , "GBK");
BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
String line;
while((line = bufferedReader.readLine()) != null) {
    String result = new String(line.getBytes("UTF-8"), "UTF-8");
    System.out.println(result);
}

输出结果为：

中国

可以看到，输出结果正常显示了文件内容。

方案二示例

hdfs dfs -text /input/test.txt | iconv -f GBK -t UTF-8 | hdfs dfs -put - /output/test.txt

使用上述命令可以将原始文件/input/test.txt的编码格式从GBK修改为UTF-8，并将修改后的文件保存为/output/test.txt。此时我们再使用Java程序读取修改后的文件即可避免乱码问题。

Path path = new Path("/output/test.txt");
FileSystem fileSystem = FileSystem.get(configuration);
FSDataInputStream inputStream = fs.open(path);
InputStreamReader inputStreamReader = new InputStreamReader(inputStream , "UTF-8");
BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
String line;
while((line = bufferedReader.readLine()) != null) {
    System.out.println(line);
}

输出结果为：

中国

可以看到，输出结果正常显示了文件内容。