PHP CURL模拟登录新浪微博抓取页面内容 基于EaglePHP框架开发

PHP CURL模拟登录新浪微博抓取页面内容 基于EaglePHP框架开发

背景

许多网站需要用户登录才能浏览其内容，为了能够爬取登录后的页面，我们需要进行模拟登录。本篇攻略将介绍基于EaglePHP框架开发，使用PHP CURL模拟登录新浪微博并抓取页面内容的完整攻略。

步骤

1. 首先，我们需要在浏览器上登录新浪微博账号，并在浏览器中抓取Cookie。我们可以使用Chrome浏览器自带的DevTools或者FireFox浏览器的Firebug扩展来完成此步骤。

在Chrome浏览器中，可以通过打开DevTools -> Network菜单，找到登录请求，点击Headers标签页，从Request Headers中复制Cookie的值。

在FireFox浏览器中，可以通过打开Firebug -> Net菜单，找到登录请求，点击Headers标签页，从Request Headers中复制Cookie的值。

1. 在EaglePHP框架中，我们可以使用Curl库来实现CURL模拟登录。首先，我们需要在Controller中引入Curl库：

php
use \Libs\Curl;

1. 接着，我们可以在Controller中编写CURL模拟登录的代码。以抓取新浪微博首页为例，代码如下：

```php
public function index()
{
$url = 'https://weibo.com/';
$headers = [
'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'Cookie: _T_WM=0123456789abcdef0123456789abcdef; SUB=_0123456789abcdef0123456789abcdef;
SUHB=0JfT4K5678ABC9DEF0123456789abcdef0123456;'
];

   $curl = new Curl();
   $curl->setHeaders($headers);
   $curl->get($url);
   echo $curl->getResponse();

}
```

我们首先定义了要抓取的网页URL和Cookie头部信息。然后，我们使用Curl类创建一个curl对象，设置好Cookie头部信息，并使用get方法请求URL。最后，我们获取curl的response，即我们所需要抓取的页面内容，通过echo输出即可。

1. 至此，我们完成了基于EaglePHP框架，使用PHP CURL模拟登录新浪微博并抓取页面内容的攻略。您可以根据自己的需求，修改代码中的URL和Cookie头部信息，来抓取其他登录后的页面内容。

示例

以下是两个使用PHP CURL模拟登录新浪微博并抓取页面内容的示例：

示例1

public function index()
{
    $username = 'your_weibo_username';
    $password = 'your_weibo_password';
    $login_url = 'https://passport.weibo.com/sso/login';
    $home_url = 'https://weibo.com/';

    $post_fields = [
        'username' => $username,
        'password' => $password,
        'savestate' => 1,
        'r' => 'https://weibo.cn/',
        'ec' => 0,
        'pagerefer' => '',
        'entry' => 'mweibo',
        'wentry' => '',
        'loginfrom' => '',
        'client_id' => '',
        'code' => '',
        'qq' => '',
        'mainpageflag' => 1,
        'hff' => '',
        'hfp' => ''
    ];

    $headers = [
        'User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:61.0) Gecko/20100101 Firefox/61.0'
    ];

    $curl = new Curl();
    $curl->setHeaders($headers);
    $curl->post($login_url, $post_fields);
    $curl->get($home_url);
    echo $curl->getResponse();
}

在此示例中，我们首先定义了登录所需的参数，包括用户名、密码、登录URL和微博首页URL。然后，我们使用Curl类创建一个curl对象，设置好User-Agent头部信息，并使用post方法模拟登录。最后，我们使用get方法请求微博首页URL，获取curl的response，即我们所需要抓取的页面内容，通过echo输出即可。

示例2

public function index()
{
    $username = 'your_weibo_username';
    $password = 'your_weibo_password';
    $login_url = 'https://passport.weibo.com/sso/login';
    $fans_url1 = 'https://weibo.com/p/100505123456789/follow';
    $fans_url2 = 'https://weibo.com/p/100505123456789/follow?page=2#Pl_Official_HisRelation__69';

    $post_fields = [
        'username' => $username,
        'password' => $password,
        'savestate' => 1,
        'r' => 'https://weibo.cn/',
        'ec' => 0,
        'pagerefer' => '',
        'entry' => 'mweibo',
        'wentry' => '',
        'loginfrom' => '',
        'client_id' => '',
        'code' => '',
        'qq' => '',
        'mainpageflag' => 1,
        'hff' => '',
        'hfp' => ''
    ];

    $headers = [
        'User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:61.0) Gecko/20100101 Firefox/61.0'
    ];

    $curl = new Curl();
    $curl->setHeaders($headers);
    $curl->post($login_url, $post_fields);
    $curl->get($fans_url1);
    $curl->get($fans_url2);
    echo $curl->getResponse();
}

在此示例中，我们首先定义了登录所需的参数，包括用户名、密码、登录URL和微博粉丝页面URL。我们使用Curl类创建一个curl对象，设置好User-Agent头部信息，并使用post方法模拟登录。然后，我们使用get方法请求微博粉丝页面URL，获取curl的response，即我们所需要抓取的页面内容，通过echo输出即可。需要注意的是，在此示例中，我们分别请求了两个粉丝页面URL，您也可以根据您的需求，修改代码中的URL，来抓取其他登录后的页面内容。