PHP抓取网页、解析HTML常用的方法总结

以下是关于“PHP抓取网页、解析HTML常用的方法总结”的完整攻略：

1. 前言

在开发Web应用时，我们常常需要从外部网站中获取信息。为此，我们需要学会如何使用PHP抓取网页，并解析HTML页面。本文将介绍PHP中常用的网页抓取和HTML页面解析方法，并提供两个示例说明。

2. PHP抓取网页常用的方法

使用PHP抓取网页有多种方法，以下是三种常用的方法：

2.1 file_get_contents()函数

file_get_contents()函数是PHP中最简单、最方便的网页抓取方法之一。它可以从指定的URL中读取内容，并将其作为字符串返回。

以下是一个示例代码：

$url = "http://www.example.com";
$html = file_get_contents($url);
echo $html;

2.2 cURL扩展

cURL扩展是另一种常用的PHP网页抓取方法。它提供了更多的配置选项，比如设置请求头、使用代理等。

以下是一个示例代码：

$url = "http://www.example.com";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$html = curl_exec($ch);
curl_close($ch);
echo $html;

2.3 fsockopen()函数

fsockopen()函数是一种比较低级的网页抓取方法，它可以直接和服务器建立TCP连接，并发送HTTP请求。

以下是一个示例代码：

$url = "www.example.com";
$fp = fsockopen($url, 80, $errno, $errstr, 30);
if (!$fp) {
    echo "$errstr ($errno)<br />\n";
} else {
    $out = "GET / HTTP/1.1\r\n";
    $out .= "Host: www.example.com\r\n";
    $out .= "Connection: Close\r\n\r\n";
    fwrite($fp, $out);
    $html = "";
    while (!feof($fp)) {
        $html .= fgets($fp, 128);
    }
    fclose($fp);
    echo $html;
}

3. HTML页面解析常用的方法

在抓取网页后，需要解析HTML页面，提取需要的内容。以下是两种常用的HTML页面解析方法：

3.1 使用正则表达式

正则表达式是一种常用的文本匹配工具，可以轻松地从HTML页面中提取需要的内容。但是正则表达式的编写比较繁琐，需要有一定的经验。

以下是一个示例代码，从一个HTML页面中提取所有链接：

$html = "<a href='http://www.example.com'>example</a><a href='http://www.google.com'>google</a>";
preg_match_all('/\<a href=\"(.*)\"\>(.*)\<\/a\>/', $html, $matches);
foreach ($matches[1] as $url) {
    echo $url . "\n";
}

3.2 使用DOMDocument类

DOMDocument类是PHP中用于解析XML和HTML文档的内置类。它提供了许多方法，可以轻松地从HTML页面中提取需要的内容。

以下是一个示例代码，从一个HTML页面中提取所有链接：

$html = "<a href='http://www.example.com'>example</a><a href='http://www.google.com'>google</a>";
$dom = new DOMDocument();
$dom->loadHTML($html);
$links = $dom->getElementsByTagName('a');
foreach ($links as $link) {
    echo $link->getAttribute('href') . "\n";
}