Python爬虫框架Scrapy实战之批量抓取招聘信息

本文旨在详细讲解如何使用Python爬虫框架Scrapy来批量抓取招聘信息网站上的信息。整个流程可以分为如下几个步骤：

1. 制定爬虫计划及定义Item
2. 编写Spider
3. 编写Item Pipeline
4. 运行爬虫

1. 制定爬虫计划及定义Item

在开始编写Spider之前，我们需要先确定我们要抓取哪些信息。实际上，这已经涉及到了Scrapy中Item的概念。我们通常通过继承 scrapy.Item 来定义Item，一个Item就代表着要抓取的一条信息，其中通常包含多个字段。在这个示例中，我们要抓取的招聘信息通常会包含职位、薪水、公司、地址等多个字段，因此需要在定义Item时分别定义这些字段，例如：

import scrapy

class Job(scrapy.Item):
    title = scrapy.Field()
    salary = scrapy.Field()
    company = scrapy.Field()
    address = scrapy.Field()
    ...

2. 编写Spider

接下来，我们需要编写Spider来执行具体的抓取任务。在Scrapy中，一个Spider就是用来定义抓取规则的。例如，我们要抓取的招聘信息通常都是在一个列表页面上展示的，因此我们需要先访问这个列表页面，然后从页面上获取每一个招聘信息的URL链接，再以这些链接为起点，逐个进入详情页面获取详细信息。基于这个思路，我们可以编写如下的Spider：

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class JobSpider(CrawlSpider):
    name = 'job'
    allowed_domains = ['example.com'] # 设置抓取的域名
    start_urls = ['http://example.com/jobs'] # 设置起始抓取页面

    rules = (
        Rule(LinkExtractor(allow=r'jobs\/\d+\/'), callback='parse_job', follow=True),
    )

    def parse_job(self, response):
        job = Job()
        job['title'] = response.xpath('//h1/text()').get()
        job['salary'] = response.xpath('//span[@class="salary"]/text()').get()
        job['company'] = response.xpath('//p[contains(text(), "公司名称")]/a/text()').get()
        job['address'] = response.xpath('//p[contains(text(), "公司地址")]/text()').get()
        ...

        yield job

在这个Spider中，我们通过 allowed_domains 指定了我们要抓取的域名，通过 start_urls 指定了我们要从哪些页面开始抓取。然后我们定义了一个 Rule，用来匹配URL链接并将其交给 parse_job() 函数处理。在 parse_job() 函数中，我们使用XPath来获取详情页中的具体信息，并将其作为一个Job实例返回。

3. 编写Item Pipeline

在上一步中，我们已经成功的抓取到了需要的信息。但是这些信息只是存储在内存中，并没有被保存到硬盘上。因此我们需要编写一个Item Pipeline来处理这些Item，使其被正确地存储到数据库或者文件中。下面是一个例子：

class JobPipeline(object):
    def __init__(self):
        self.file = open('jobs.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line)
        return item

    def spider_closed(self, spider):
        self.file.close()

这个Pipeline可以将Job实例保存到一个名为 jobs.json 的JSON文件中。

4. 运行爬虫

最后，我们只需要在终端中输入下面的命令，来启动我们编写的爬虫程序：

scrapy crawl job

其中 job 是我们自己定义的Spider的名称。

综上所述，这就是一个完整的使用Python爬虫框架Scrapy实现批量抓取招聘信息的攻略。