上手简单,功能强大的Python爬虫框架——feapder

Feapder是一款使用Python语言编写的爬虫框架。它具有上手简单、功能强大的特点，可以帮助爬虫程序员快速开发出高效、稳定的爬虫程序。以下是使用Feapder编写爬虫的攻略：

安装

Feapder的安装非常简单，使用以下命令即可：

pip install feapder

特点

Feapder具有以下特点：

• 简单易用，只需定义爬虫任务、配置爬虫参数，可以快速启动一个高效的爬虫。
• 分布式支持，可以使用Redis或多进程实现爬虫任务的分布式部署。
• 智能动态分配任务，可以根据队列长度、空闲爬虫等多项指标进行任务调度，充分利用资源。
• 支持动态代理，可以根据需要自动切换代理，提高爬虫稳定性和成功率。
• 支持多线程、多进程、协程等多种并发模式。

爬虫任务定义

在Feapder中，定义一个爬虫任务非常简单。只需创建一个继承自feapder.Spider的类，重写其中的start_request方法和parse方法即可。

例如，我们定义一个爬取豆瓣图书的爬虫：

import feapder

class DoubanSpider(feapder.Spider):
    start_urls = ["https://book.douban.com/top250"]

    def start_request(self):
        for url in self.start_urls:
            yield feapder.Request(url)

    def parse(self, request, response):
        for book in response.xpath("//div[@class='pl2']"):
            title = book.xpath("a/@title").extract_first()
            link = book.xpath("a/@href").extract_first()
            yield feapder.Item(title=title, link=link)

在上面的代码中，我们定义了一个名为DoubanSpider的爬虫类，在其中定义了start_urls属性和两个方法start_request和parse。start_urls属性指定了爬虫起始页的URL，start_request方法用于向调度器提交起始请求，parse方法用于解析响应并提取数据。

爬虫参数配置

在Feapder中，可以通过配置文件或命令行参数来配置爬虫参数。下面是一个示例配置文件：

[common]
# Redis连接配置
redis_host = localhost
redis_port = 6379

# MySQL连接配置
mysql_host = localhost
mysql_port = 3306
mysql_db = test
mysql_user = root
mysql_password = 123456

# 日志配置
log_level = INFO
log_file = log/feapder.log

# 爬虫配置
max_retry_times = 3
max_request_concurrency = 10
max_response_concurrency = 10
task_timeout = 600

在上面的配置文件中，我们配置了Redis连接、MySQL连接、日志输出等参数。这些配置项可以在代码中通过self.settings属性访问，如：

redis_host = self.settings.get("redis_host")
mysql_host = self.settings.get("mysql_host")
log_level = self.settings.get("log_level", "INFO")

爬虫启动

启动Feapder爬虫非常简单，只需执行以下命令：

python spider.py run

其中spider.py为我们定义的爬虫代码文件，run为启动命令。如果需要启动分布式爬虫，在run命令后加上-d参数即可。

示例1：爬取糗事百科的段子

下面是一个爬取糗事百科的段子的示例代码：

import feapder

class QiubaiSpider(feapder.Spider):
    start_urls = ["https://www.qiushibaike.com/text/page/1/"]

    def start_request(self):
        for url in self.start_urls:
            yield feapder.Request(url)

    def parse(self, request, response):
        for article in response.css("div.article"):
            author = article.css("span::text").extract_first()
            content = article.css("div.content span::text").extract_first()
            yield feapider.Item(author=author, content=content)

        next_page = response.css("a.next::attr(href)").extract_first()
        if next_page:
            yield feapder.Request(response.urljoin(next_page))

在上面的代码中，我们定义了一个名为QiubaiSpider的爬虫类，用于爬取糗事百科的段子。其中，我们通过CSS选择器提取作者和段子内容，并通过yield返回一个Item类型对象。

示例2：爬取拉勾网的职位信息

下面是一个爬取拉勾网的职位信息的示例代码：

import feapder

class LagouSpider(feapder.Spider):
    keyword = "Python"
    start_urls = ["https://www.lagou.com/zhaopin/{}/".format(keyword)]

    def start_request(self):
        for url in self.start_urls:
            yield feapder.Request(url, headers={"Referer": "https://www.lagou.com/zt/pythonocr/"})

    def parse(self, request, response):
        for job in response.css("li.con_list_item"):
            position = job.css("h3::text").extract_first()
            salary = job.css("span.money::text").extract_first()
            company = job.css("div.company_name a::text").extract_first()
            yield feapider.Item(position=position, salary=salary, company=company)

        next_page = response.css("a.next_page::attr(href)").extract_first()
        if next_page:
            headers = {"Referer": response.url}
            yield feapder.Request(response.urljoin(next_page), headers=headers)

在上面的代码中，我们定义了一个名为LagouSpider的爬虫类，用于爬取拉勾网的职位信息。其中，我们提取了职位名称、薪资和公司名称，并通过yield返回一个Item类型对象。为了防止反爬虫，我们在请求头中添加了Referer字段。