Scrapy基于selenium结合爬取淘宝的实例讲解

本实例主要介绍如何使用Scrapy和Selenium结合爬取淘宝网站的商品信息。Scrapy是一个用于爬取网站并从中提取数据的Python框架，而Selenium是一个Selenium WebDriver的Python封装，用以浏览器自动化。

实现步骤

1. 创建Scrapy项目

首先，我们需要在命令行终端中创建一个新的Scrapy项目：

scrapy startproject taobao

这将会在当前目录下创建一个名为 taobao 的文件夹，其中包含了Scrapy项目的各种文件和目录。

1. 安装Selenium

在使用Selenium之前，需要先安装Selenium驱动程序。对于Chrome浏览器，可以从官网下载对应的驱动程序，并将其解压到某个目录下，需要将其路径添加到环境变量 PATH 中。

另外，还需要安装Selenium的Python库，可以使用以下命令进行安装：

pip install selenium

1. 创建Spider

在 taobao 项目下，创建一个名为 spiders 的目录，并在其中创建一个名为 taobao_spider.py 的文件，作为我们的Spider。其中包括导入必要的库以及编写Scrapy Spider的代码。

import scrapy
from selenium import webdriver

class TaobaoSpider(scrapy.Spider):
    name = "taobao"
    start_urls = [
        "https://www.taobao.com"
    ]

    def __init__(self):
        self.driver = webdriver.Chrome()

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, callback=self.parse)

    def parse(self, response):
        self.driver.get(response.url)
        # 在此处使用Selenium调用Chrome浏览器进行操作，具体内容根据实际需求进行编写

在上面的代码中，我们首先导入 scrapy 和 webdriver 库。然后，在 TaobaoSpider 中定义了Spider的名称 name 以及开始请求的URL start_urls。在Spider的构造函数中初始化了Selenium的Chrome WebDriver，并在 start_requests 函数中创建了一个 scrapy.Request 对象。最后，在 parse 函数中使用Selenium调用了Chrome浏览器并进行操作，具体内容根据实际需求进行编写。

1. 使用Selenium获取HTML源码

在 parse 函数中，我们可以使用Selenium获取页面的HTML源码，并将其传递给Scrapy进行解析。以下是一个示例：

def parse(self, response):
    self.driver.get(response.url)
    html = self.driver.page_source
    # 在此处使用BeautifulSoup解析HTML源码，具体方法根据实际需求进行编写

在上述代码中，我们通过 self.driver.page_source 获取了当前页面的HTML源码。根据实际需求，可以使用如 BeautifulSoup 等库对其进行解析。

1. 使用Selenium进行页面操作和点击

在许多情况下，需要进行一些浏览器操作，例如加载更多数据或点击某个按钮。以下是一个示例：

def parse(self, response):
    self.driver.get(response.url)

    # 获取商品分类列表
    category_list = self.driver.find_elements_by_css_selector('#J_Catlist > .J_Cat')

    # 点击其中一个分类，进入该分类的页面
    category_list[0].click()

    # 等待页面加载完毕
    self.driver.implicitly_wait(5)

    # 获取该分类下的商品列表
    item_list = self.driver.find_elements_by_css_selector('#J_DataList > .product')

    # 在此处处理获取到的商品列表
    for item in item_list:
        # 处理每一个商品
        pass

在上面的代码中，我们首先使用Selenium获取了商品分类的列表，并且点击了其中一个分类。然后，等待5秒钟，等待页面加载完毕。最后，再次使用Selenium获取了该分类下的商品列表，并进行了处理。

实例演示

以下是一个基于Scrapy和Selenium的淘宝商品爬虫的示例，可以获取所有商品的名称、价格和销量，并将其保存到JSON文件中。在运行之前，需要先按照上述步骤完成Scrapy和Selenium的安装和配置。

import scrapy
import json
from selenium import webdriver
from ..items import TaobaoItem

class TaobaoSpider(scrapy.Spider):
    name = "taobao"
    allowed_domains = ["taobao.com"]
    start_urls = [
        "https://www.taobao.com"
    ]

    def __init__(self):
        self.driver = webdriver.Chrome()

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, callback=self.parse)

    def parse(self, response):
        self.driver.get(response.url)

        # 搜索关键词
        search_input = self.driver.find_element_by_css_selector('#q')
        search_input.send_keys('女装')

        # 点击搜索按钮
        search_button = self.driver.find_element_by_css_selector('#J_TSearchForm > .btn-search')
        search_button.click()

        # 等待页面加载完毕
        self.driver.implicitly_wait(5)

        # 对搜索结果进行分页并处理
        while True:
            # 获取商品列表
            item_list = self.driver.find_elements_by_css_selector('#mainsrp-itemlist > .items > .item')

            # 处理每一个商品
            for item in item_list:
                taobao_item = TaobaoItem()
                taobao_item['title'] = item.find_element_by_css_selector('.title').text
                taobao_item['price'] = item.find_element_by_css_selector('.price').text
                taobao_item['sales'] = item.find_element_by_css_selector('.deal-cnt').text
                yield taobao_item

            # 进行翻页操作
            try:
                next_page = self.driver.find_element_by_css_selector('.pagination > .next')
                next_page.click()
                self.driver.implicitly_wait(5)
            except:
                break

    def closed(self, spider):
        # 将爬取结果保存到文件
        with open('taobao_items.json', 'w', encoding='utf-8') as f:
            items = [dict(item) for item in spider.crawler.stats.get_value('item_scraped_count')]
            json.dump(items, f, ensure_ascii=False)

在上述爬虫中，我们首先搜索了关键词 “女装”，然后对搜索结果进行分页和处理，每处理一个商品都创建了一个 TaobaoItem 对象，并将其传递给Scrapy进行保存。

最后，在 closed 函数中将爬取结果保存到JSON文件中。

另外，我们还需要创建一个 items.py 文件，在其中定义 TaobaoItem 类：

import scrapy

class TaobaoItem(scrapy.Item):
    title = scrapy.Field()
    price = scrapy.Field()
    sales = scrapy.Field()

结束语

以上就是一个基于Scrapy和Selenium结合爬取淘宝的实例讲解。需要注意的是，在使用Selenium时，由于其模拟了浏览器操作，因此会比纯粹的使用Scrapy慢很多，不过对于某些需要模拟浏览器操作的情况下，使用Selenium会十分方便。