PHP笔记之：有规律大文件的读取与写入的分析

在 PHP 中处理大文件是一件很常见的任务。本篇笔记将介绍如何有效地读取和写入大文件。

读取大文件

当需要读取大文件时，最好不要一次读取整个文件到内存中，而应该分块读取。下面是示例代码，演示了如何分块读取：

$handle = fopen('large_file.txt', 'r');
$buffer_size = 1024 * 1024; // 1MB
while ($chunk = fread($handle, $buffer_size)) {
    // 处理每个 $chunk
}
fclose($handle);

上述代码中，fread 函数一次读取 1MB 的数据块，直到整个文件被读取完毕。在读取每个数据块后，可以对其进行处理，例如解析、过滤等等。

写入大文件

当需要写入大文件时，最好不要一次将所有数据写入文件中，而应该分块写入。下面是示例代码，演示了如何分块写入：

$handle = fopen('large_file.txt', 'w');
$buffer_size = 1024 * 1024; // 1MB
$chunk = str_repeat(' ', $buffer_size); // 构造一个 $buffer_size 大小的字符串
for ($i = 0; $i < $total_size; $i += $buffer_size) {
    fwrite($handle, $chunk);
}
fclose($handle);

上述代码中，我们用 fwrite 将一个 1MB 大小的字符串写入文件，然后循环多次将其写入文件中，以此构造一个指定大小的大文件。在实际情况中，在每写入一块数据后，可以对其进行一些处理，例如计算哈希值、更新进度等等。

示例

假设我们有一个 1GB 大小的日志文件，需要统计其中某个字符串出现的次数。下面是示例代码，演示了如何分块读取并统计字符串出现的次数：

$handle = fopen('large_log_file.log', 'r');
$buffer_size = 1024 * 1024; // 1MB
$target = 'example_string'; // 目标字符串
$count = 0;
while ($chunk = fread($handle, $buffer_size)) {
    $count += substr_count($chunk, $target);
}
fclose($handle);
echo "The target string '$target' appears $count times in the log file.";

假设我们需要生成一个 10GB 大小的测试文件，下面是示例代码，演示了如何分块写入：

$handle = fopen('large_test_file.bin', 'w');
$buffer_size = 1024 * 1024; // 1MB
$chunk = str_repeat("\0", $buffer_size); // 构造一个 $buffer_size 大小的二进制字符串
$total_size = 10 * 1024 * 1024 * 1024; // 10GB
for ($i = 0; $i < $total_size; $i += $buffer_size) {
    fwrite($handle, $chunk);
    echo floor($i / $total_size * 100) . "%\n"; // 输出进度
}
fclose($handle);

上述代码中，我们用 fwrite 将一个 1MB 大小的二进制字符串写入文件，然后循环多次将其写入文件中，以此构造一个指定大小的大文件。在写入每块数据后，我们输出当前进度。