爬虫框架Feapder和Scrapy的对比分析

引言

在爬虫开发过程中，经常需要使用爬虫框架。目前市面上有很多优秀的框架可供选择，其中比较流行的就是Scrapy和Feapder。本文将对这两个框架进行分析和对比，帮助开发者更好地选择合适的框架。

框架介绍

Scrapy

Scrapy是一种为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy用途广泛且成熟，同时它是一个开源框架。Scrapy是一个坚实的Web爬虫框架，基于Python语言开发，并使用Twisted网络库。Scrapy可以处理网站并从中提取出结构化数据。

Feapder

Feapder是一个易于使用、高度灵活且性能强大的分布式Web爬虫框架。Feapder致力于为爬虫从爬虫的调度到数据提取提供考虑周全和先进的解决方案。它是一个支持多种网站结构的抓取框架，支持自定义中间件和插件，支持高并发，支持分布式。

对比分析

简单易用

Scrapy非常适合有Python编程基础和对MVVM架构模型有一定理解的爬虫开发人员。框架结构清晰，使用起来比较简单，带有很多成熟的插件和扩展工具。但是对于刚接触爬虫的新手，在学习使用过程中会遇到不少困难，可能会花费很长时间去理解框架的各个部分。

Feapder为爬虫开发人员提供了易于使用的Web爬虫框架，并使用了友好的API来支持所有可用的优势。它提供了整个框架处理机制的详细解释和代码示例，使得新手能够快速入门，轻松完成项目的开发。

分布式部署

Scrapy开发人员必须花费时间和精力来构建分布式系统，这需要大量的开发知识和技能。Scrapy虽然支持分布式爬取，但对于开发人员的技能要求较高，所以大多数开发者往往会觉得这是一个复杂的难题。

Feapder内置分布式爬虫模式，使得其可以快速扩展到分布式系统中，避免了开发人员深入探究分布式地方的细节。

数据抓取和处理

Scrapy可以通过XPath或CSS选择器等多种方式来解析网页，支持多种类型的数据存储(postgresql，mongodb，mysql)，可以对数据进行多种形式的处理，如过滤、分析、转换等。开发人员可以在Scrapy中灵活使用这些功能，对数据进行自定义处理。

Feapder的好处在于，它使用了Python的asyncio库，使得数据的处理速度更快。在数据的解析和处理方面，Feapder使用了方法覆盖的方式，支持多种方式的选择。同时，Feapder还提供了多个常用解析器和自定义解析器，包括正则表达式、XPath、Json解析等。

示例说明

Scrapy示例

以下是一个Scrapy的例子，可以抓取博客中的所有文章：

import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://blog.scrapinghub.com']

    def parse(self, response):
        for title in response.css('h2.entry-title'):
            yield {'title': title.css('a ::text').get()}

        next_page = response.css('div.prev-post > a ::attr(href)').get()
        if next_page:
            yield scrapy.Request(next_page, self.parse)

在上面的示例中，start_urls包括要抓取数据的第一个URL列表。接下来，在parse函数中使用CSS选择器获取所需数据，并使用yield关键字输出所得数据。如果有可用的下一页，使用scrapy.Request函数来获取下一页的数据。

Feapder示例

以下是一个Feapder的例子，可以抓取淘宝商品的列表信息：

from feapder import baseSpider

class TaobaoSpider(baseSpider):
    def start_requests(self):
        yield self.request("https://s.taobao.com/search?q=%E8%8C%B6%E5%8F%B6&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.item&spm=a219r.lm874.1000187.1&ie=utf8")

    def parse(self, request):
        for item in request.xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]/div'):
            goods_title = item.xpath('div[2]/div[2]/a/text()').extract_first()
            sales_count = item.xpath('div[2]/div[1]/div[2]/text()').extract_first()
            yield {"goods_title": goods_title, "sales_count": sales_count}

在上面的示例中，首先使用yield语句来获取网页数据。然后使用XPath获取所需数据并进行解析，最后使用yield关键字输出所得到的数据。

总结

Scrapy是一个完善的Web爬虫框架，是一个想要掌握高级Web爬虫技术的人必须学习的框架。Feapder比Scrapy更加易用，易于学习和掌握，并支持分布式爬取。开发人员也可以从中选择出适合自己的框架，根据具体的项目要求来进行选择。