PHP使用CURL实现多线程抓取网页

下面是详细讲解如何使用PHP中的CURL扩展实现多线程抓取网页的完整攻略。

前置知识

在阅读本文之前，需要掌握以下知识：

• PHP基础语法
• CURL的基本使用方法
• 多线程编程的基本概念

如果你还没有学习过以上知识，建议先自学相关内容。

CURL介绍

CURL是一个用于在命令行和代码中实现数据传输的工具和库，支持HTTP、FTP、SMTP等常见的协议。PHP中也内置了CURL扩展，允许我们在PHP代码中使用CURL来进行URL请求。

多线程抓取网页实现原理

多线程抓取网页的实现原理是通过多个线程并发地请求目标网页，每个线程都独立地请求一个URL，并将抓取结果存储到本地变量或文件中。最后，我们可以将所有线程抓取的数据合并在一起，从而实现多线程抓取网页的效果。

实现步骤

1. 初始化一个CURL多线程句柄

$mh = curl_multi_init();

1. 创建一个或多个CURL句柄，并将其添加到多线程句柄中

$url1 = "http://example.com/page1";
$url2 = "http://example.com/page2";

$ch1 = curl_init($url1);
curl_setopt($ch1, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch1, CURLOPT_FOLLOWLOCATION, 1);

$ch2 = curl_init($url2);
curl_setopt($ch2, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch2, CURLOPT_FOLLOWLOCATION, 1);

curl_multi_add_handle($mh, $ch1);
curl_multi_add_handle($mh, $ch2);

以上代码创建了两个CURL句柄，分别用于请求$url1和$url2，并将它们添加到了多线程句柄中。

1. 执行多线程请求

$running = null;
do {
    curl_multi_exec($mh, $running);
} while($running > 0);

以上代码通过不断地循环执行curl_multi_exec函数，直到所有请求都完成。

1. 获取请求结果

$results = array();
foreach([$ch1, $ch2] as $ch) {
    $result = curl_multi_getcontent($ch);
    $results[] = $result;
    curl_multi_remove_handle($mh, $ch);
    curl_close($ch);
}

curl_multi_close($mh);

var_dump($results);

以上代码循环处理每个CURL句柄，获取请求结果，并将结果存储到$results数组中。最后，我们可以将所有结果合并在一起，以便之后的处理。

示例

下面是一个稍微完整一些的多线程抓取网页的示例，它可以抓取指定网页的所有URL：

// 初始化多线程句柄
$mh = curl_multi_init();

// 定义需要抓取的URL
$url = "http://example.com/";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_multi_add_handle($mh, $ch);

// 执行多线程请求
$running = null;
do {
    curl_multi_exec($mh, $running);
} while($running > 0);

// 获取请求结果
$results = array();
$result = curl_multi_getcontent($ch);
$results[] = $result;
curl_multi_remove_handle($mh, $ch);
curl_close($ch);
curl_multi_close($mh);

// 找出URL
preg_match_all('/<a\s.*?href=\"([^\"]+)\"/i', $results[0], $matches);
$urls = array_unique($matches[1]);

以上代码通过正则表达式，从请求结果中筛选出所有的URL。可以看到，由于抓取的网页内容非常简单，所以我们只需要一个CURL句柄就可以完成所有请求。如果抓取的网页比较复杂，我们可以考虑使用多个CURL句柄，通过多线程并发地请求，提高抓取效率。

以下是另一个示例，它使用多个CURL句柄并发地抓取多个网页，并将抓取结果保存到文件中：

// 多线程抓取多个网页
$urls = ["http://example.com/page1", "http://example.com/page2", "http://example.com/page3"];

// 初始化多线程句柄
$mh = curl_multi_init();

// 创建CURL句柄并添加到多线程句柄中
$chs = array();
foreach($urls as $url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_multi_add_handle($mh, $ch);
    $chs[] = $ch;
}

// 执行多线程请求
$running = null;
do {
    curl_multi_exec($mh, $running);
} while($running > 0);

// 获取请求结果并保存到文件中
foreach($chs as $key => $ch) {
    $result = curl_multi_getcontent($ch);
    $filename = "result{$key}.html";
    file_put_contents($filename, $result);
    curl_multi_remove_handle($mh, $ch);
    curl_close($ch);
}

curl_multi_close($mh);

以上代码将多个网页URL存储到了一个数组中，并通过循环创建了多个CURL句柄，分别请求不同的URL。抓取结果存储到文件中，文件名以result为前缀，加上当前循环的索引号。

总结

通过使用CURL的多线程特性，我们可以轻松实现多线程抓取网页的效果。在使用过程中，需要注意以下几点：

• 要合理设置CURL的选项，以便得到正确的请求结果；
• 要注意多线程并发导致的数据同步问题；
• 要注意异常情况的处理，避免因为某个请求超时或失败导致整个程序崩溃。