java如何读取超大文件

读取超大文件是一个常见的需求，Java本身提供了一些API来支持大文件的读取。在读取大文件时，需要注意内存占用和性能问题，下面是Java如何读取超大文件的完整攻略：

使用BufferedInputStream和BufferedReader

BufferedInputStream和BufferedReader是Java IO中常用的高效读取/写入工具类，读取大文件时，使用这两个类可以有效降低IO操作的开销。以下代码演示如何读取文本文件：

try (BufferedReader reader = new BufferedReader(new FileReader("file.txt"))) {
    String line;
    while ((line = reader.readLine()) != null) {
        // 对每一行进行处理
    }
} catch (IOException e) {
    e.printStackTrace();
}

通过BufferedReader每次读取一行文本内容。如果要读取非文本文件，则可以使用BufferedInputStream。

使用NIO读取文件

java.nio包中提供了一些APIs来进行非阻塞I/O操作，使用这些APIs可以更加高效地读取大文件。以下是一个示例，演示了如何读取二进制文件：

try (FileChannel channel = new FileInputStream("file.bin").getChannel()) {
    ByteBuffer buffer = ByteBuffer.allocate(1024);
    while (channel.read(buffer) > 0) {
        buffer.flip();
        // 对每一次读取的buffer进行处理
        buffer.clear();
    }
} catch (IOException e) {
    e.printStackTrace();
}

在NIO中，读取文件时使用FileChannel类的read方法进行读取，返回值为读取的字节数。读取完成后，需要调用flip方法将ByteBuffer从写模式切换到读模式，然后再进行处理。

示例1：读取大型CSV文件并进行统计分析

假设有一个超大的CSV文件，我们需要读取并进行一些统计分析，比如计算每个城市的平均气温。以下是代码示例：

try (BufferedReader reader = new BufferedReader(new FileReader("weather.csv"))) {
    Map<String, List<Double>> cityTemps = new HashMap<>(); // 键为城市名称，值为该城市的气温列表
    String line;
    while ((line = reader.readLine()) != null) {
        String[] fields = line.split(",");
        String city = fields[0]; // 假设第一列为城市名称，第二列为气温
        double temp = Double.parseDouble(fields[1]);
        if (!cityTemps.containsKey(city)) {
            cityTemps.put(city, new ArrayList<>());
        }
        cityTemps.get(city).add(temp);
    }

    // 对每个城市的气温列表进行统计分析
    for (String city : cityTemps.keySet()) {
        List<Double> temps = cityTemps.get(city);
        double avg = temps.stream().mapToDouble(Double::doubleValue).average().orElse(0.0);
        // 输出每个城市的平均气温
        System.out.println(city + ": " + avg);
    }
} catch (IOException e) {
    e.printStackTrace();
}

在代码中，我们使用BufferedReader逐行读取CSV文件，并使用HashMap来保存每个城市的气温列表。读取完文件后，对每个城市的气温列表进行统计分析，计算平均气温并输出结果。

示例2：读取超大的日志文件并过滤出特定信息

假设有一个超大的日志文件，我们需要读取文件并过滤出包含特定关键词的日志信息。以下是代码示例：

try (BufferedReader reader = new BufferedReader(new FileReader("logs.txt"))) {
    String line;
    while ((line = reader.readLine()) != null) {
        if (line.contains("error")) { // 过滤出包含"error"关键词的日志信息
            // 处理符合条件的日志信息
        }
    }
} catch (IOException e) {
    e.printStackTrace();
}

在代码中，我们使用BufferedReader逐行读取日志文件，并使用contains方法判断该行是否包含"error"关键词。如果包含，则进行处理。