Java高效读取大文件实例分析

在处理大文件时，Java可读取整个文件或一部分，但这有时效率较低。在本文中，我们将讨论如何使用Java高效地读取大文件。

1. 读取整个大文件

对于小文件，可以使用Files.readAllBytes(path)或Files.readAllLines(path)一次性读取整个文件。但是，对于大文件，这种方式可能会导致内存不足。而使用BufferedReader逐行读取文件可以避免这种情况，并且可以实现更高的效率。

String fileName = "test.txt";
try (BufferedReader br = new BufferedReader(new FileReader(fileName))) {
    String line;
    while ((line = br.readLine()) != null) {
        // do something with line
    }
}

上述代码使用BufferedReader逐行读取test.txt文件中的文本行。请注意，BufferedReader自动使用缓冲区，以避免扫描文件时不必要的I/O操作。

2. 读取大文件的一部分

对于大文件，逐行读取可能仍然是一个问题。这种情况下，我们可以使用Java NIO库中的MappedByteBuffer类。我们可以将文件的一部分映射到内存中，然后通过处理内存中的字节来避免多次磁盘I/O操作。以下是一个使用MappedByteBuffer读取大文件的示例。

String fileName = "test.txt";
FileChannel fc = new RandomAccessFile(fileName, "r").getChannel();
MappedByteBuffer buffer = fc.map(FileChannel.MapMode.READ_ONLY, 0, fc.size());
buffer.load();
byte[] bytes = new byte[(int) fc.size()];
buffer.get(bytes);

在上面的代码中，首先使用RandomAccessFile打开文件并获得文件通道。然后，使用map()方法将整个文件映射到内存中，并使用get()方法将映射的文件数据读取到bytes数组中。

示例1：逐行读取大文件

假设我们需要对一个1GB的巨型文本文件进行分析，在此过程中，我们需要逐行读取文件的每一行，并将每行的计数器增加1。以下是一种基本的实现方式：

String fileName = "bigfile.txt";
int count = 0;

try (BufferedReader br = new BufferedReader(new FileReader(fileName))) {
    String line;
    while ((line = br.readLine()) != null) {
        count++;
    }
}
System.out.println("The total number of lines in the file is: " + count);

上述代码逐行读取bigfile.txt文件，并通过增加计数器来追踪行数。通过上述实现，我们能够在2-3分钟内完成对1 GB文本文件的读取。

示例2：读取大二进制文件

我们可以借助MappedByteBuffer类来读取大文件的二进制数据。以下示例演示如何读取一个100MB的二进制文件。该文件包含一组随机生成的整数（每个int占用4个字节）。

String fileName = "bigfile.bin";
FileChannel fc = new RandomAccessFile(fileName, "r").getChannel();
MappedByteBuffer buffer = fc.map(FileChannel.MapMode.READ_ONLY, 0, fc.size());
buffer.load();
int byteCount = buffer.capacity();

IntBuffer intBuf = buffer.asIntBuffer();
System.out.println("number of integers in the file: " + intBuf.remaining());
int[] array = new int[intBuf.remaining()];

for (int i = 0; i < intBuf.remaining(); i++) {
    array[i] = intBuf.get(i);
}

System.out.println("The sum of all integers in the file is: " + Arrays.stream(array).sum());

上述代码将文件bigfile.bin的整个内容映射到MappedByteBuffer对象 buffer中，并将其加载到内存中。 buffer.asIntBuffer()将其视为一个IntBuffer ，我们可以像处理所有内存映射缓冲区一样处理该缓冲区。我们可以遍历每个整数，并将它们添加到数组 array 中，并通过求和来计算它们的总和。该程序在5秒钟内完成对100 MB文件的读取和计算。

以上是两个示例，我们可以通过这些实例，了解如何在Java中高效的读取大文件。