Python爬虫基础讲解之scrapy框架

1、Scrapy框架简介

Scrapy是一个开源的、基于Python语言的爬虫框架，用于抓取web站点并从中提取所需的信息。它的主要作用在于自动化爬取web站点上，并提供了很多有用的功能和工具，例如自动化处理重定向、cookie、形式提交和会话、可以配置多个存储抓取到的数据的输出格式等。

Scrapy的综合性能也十分出色，其内建了数据持久化机制，可以方便地将爬取到的数据存储到本地以供后期分析和处理，支持多线程和异步操作，可以高效地完成海量数据的抓取。同时，Scrapy还提供了丰富的扩展接口，用户可以利用这些接口来自定义自己的爬虫过程。

2、Scrapy框架的使用

安装Scrapy

在使用Scrapy框架之前，首先需要安装Scrapy。安装方法如下：

pip install scrapy

安装完成后，我们可以使用以下指令来查看Scrapy是否安装成功：

scrapy version

创建Scrapy项目

在安装完Scrapy之后，我们需要创建一个新的Scrapy项目，可以使用以下指令：

scrapy startproject [project_name]

这里以“TestProject”作为实例，创建一个新的Scrapy项目：

scrapy startproject TestProject

创建Scrapy Spider

Scrapy Spider定义如何分析提取页面数据，并通过Scrapy Engine处理这些数据。

我们可以使用以下指令在Scrapy项目中创建一个新的Spider:

scrapy genspider [name] [domain]

这里以“baidu”作为实例，创建一个以百度主页为起始页面的爬虫：

scrapy genspider baidu baidu.com

解析页面

当我们创建好新的Spider之后，需要对页面进行解析，并提取所需数据。Scrapy框架提供了丰富的选择器和处理器，可以轻松地定位并提取页面中的数据。

例如，我们提取百度主页中的标题和链接信息:

import scrapy

class baiduSpider(scrapy.Spider):
    name = "baidu"
    allowed_domains = ["baidu.com"]
    start_urls = ['http://www.baidu.com/']

    def parse(self, response):
        for sel in response.xpath('//div[@id="hotsearch_refresh"]/h3/a'):
            title = sel.xpath('text()').extract()
            link = sel.xpath('@href').extract()
            print(title, link)

保存数据

Scrapy框架提供了多种数据保存方式，包括CSV、JSON、XML等格式。以下是一个抓取百度热搜榜单的示例，将数据以JSON格式保存到本地文件中：

import scrapy
import json

class baiduSpider(scrapy.Spider):
    name = "baidu"
    allowed_domains = ["baidu.com"]
    start_urls = ['http://www.baidu.com/']

    def parse(self, response):
        items = []
        for sel in response.xpath('//div[@id="hotsearch_refresh"]/h3/a'):
            item = {}
            title = sel.xpath('text()').extract()
            link = sel.xpath('@href').extract()
            item['title'] = title
            item['link'] = link
            items.append(item)
        with open('baidu.json', 'w', encoding='utf-8') as f:
            f.write(json.dumps(items, ensure_ascii=False))

以上是Scrapy框架的基础讲解和示例说明，希望能够帮助大家更好地理解Scrapy的使用。