scrapy爬虫:scrapy.FormRequest中formdata参数详解

1. 什么是scrapy.FormRequest中的formdata参数？

Scrapy是一款非常强大的爬虫框架，提供了多种方式来模拟网站的表单提交行为。
其中，scrapy.FormRequest可以通过POST方式向服务器发送请求，而formdata参数是POST请求参数的一种形式，是一个字典，用于提交表单数据。

1. formdata参数的语法格式

FormRequest(url[, formdata, size_policy, callback, method, headers, encoding, cookies, meta, dont_filter, cb_kwargs, errback, flags, priority, retry_times, download_timeout, request_config])

其中，formdata参数是一个字典，表示需要提交的表单数据，可以包含多个键值对，例如：

formdata = {
    'username': 'your_username',
    'password': 'your_password'
}

1. 示例1：登录表单提交
   首先，登录表单通常需要提交账号密码等信息，以登录GitHub为例：

import scrapy
from scrapy import FormRequest

class LoginSpider(scrapy.Spider):
    name = 'github'
    login_url = 'https://github.com/login'

    def start_requests(self):
        return [FormRequest(self.login_url, formdata={'login': 'your_username', 'password': 'your_password'}, callback=self.after_login)]

    def after_login(self, response):
        # 此处处理登录后的逻辑
        pass

以上代码实现了以下功能：
- 在start_requests函数中定义了GitHub登录页面的URL；
- 调用scrapy.FormRequest发送POST请求，向服务器提交了登录信息（login和password）；
- 指定登录成功后的回调函数为after_login，从而在登录成功后继续爬取页面。

1. 示例2：模拟搜索表单提交
   模拟搜索表单提交的时候，需要指定搜索表单的URL地址，以及要提交的表单数据，以百度搜索为例：

import scrapy
from scrapy import FormRequest

class BaiduSpider(scrapy.Spider):
    name = 'baidu'
    search_url = 'https://www.baidu.com/s'

    def start_requests(self):
        return [FormRequest(self.search_url, formdata={'wd': 'scrapy'}, callback=self.parse)]

    def parse(self, response):
        # 解析搜索结果页面
        pass

以上代码实现了以下功能：
- 在start_requests函数中定义了百度搜索页面的URL；
- 调用scrapy.FormRequest发送POST请求，向服务器提交了搜索信息（wd为“scrapy”）；
- 指定回调函数为parse，从而在获取到搜索结果后进行页面解析处理。