Python 详解通过 Scrapy 框架实现爬取 CSDN 全站热榜标题热词流程

简介

Scrapy 是一款专业的 Python 爬虫框架，它可以帮助我们高效地抓取网站数据。本文将详细介绍如何使用 Scrapy 框架爬取 CSDN 全站热榜的标题热词。

准备工作

在开始之前，我们需要安装 Scrapy 模块，可以运行以下指令进行安装：

pip install scrapy

创建 Scrapy 项目

首先，打开我们的命令行终端，并进入要创建 Scrapy 项目的文件夹。

cd /your/path/to/your/project/

接着，运行如下命令：

scrapy startproject csdn_hotwords

此命令会创建一个名为 csdn_hotwords 的 Scrapy 项目。

创建爬虫

在终端中进入 csdn_hotwords 项目目录，运行以下命令，创建 csdn_spider 爬虫。

cd csdn_hotwords
scrapy genspider csdn_spider csdn.net

上述命令通过执行 scrapy genspider 命令生成了 csdn_spider 爬虫脚本，并将 csdn.net 设置为起始爬取页面（也可以选择其他页面）。

编写爬虫

接着，我们即可编写 Python 代码，定义如何解析页面内容。打开 csdn_spider.py 文件，并进行如下编辑：

import scrapy


class CsdnSpider(scrapy.Spider):
    name = "csdn_spider"
    allowed_domains = ["csdn.net"]
    start_urls = [
        "https://www.csdn.net/"
    ]

    def parse(self, response):
        hot_words = response.css('.hotword a::text').extract()
        for hot_word in hot_words:
            yield {
                'hot_word': hot_word
            }

上述代码中，我们定义了 name、allowed_domains 和 start_urls，并重写了 parse 函数。具体：

• name：定义爬虫名字；
• allowed_domains：设置可以爬取的域名列表；
• start_urls：设置爬虫起始页面列表；
• parse：定义解析页面内容的方法。在这里，我们使用 css 选择器定位页面热词，并使用 extract 方法提取热词内容。

运行爬虫

在代码编写完毕后，我们可以运行如下命令启动爬虫。

scrapy crawl csdn_spider -o hot_words.json

上述命令将会输出 hot_words.json 文件，其中包括爬虫所爬取的所有热门词汇。

示例

示例一：

运行上文中所述的 Scrapy 程序即可，最终输出的 hot_words.json 文件如下所示：

[
    {"hot_word": "大数据"},
    {"hot_word": "人工智能"},
    {"hot_word": "机器学习"},
    {"hot_word": "深度学习"},
    {"hot_word": "Python"},
    {"hot_word": "Java"},
    {"hot_word": "区块链"},
    {"hot_word": "微服务"},
    {"hot_word": "算法"},
    {"hot_word": "数据库"},
    {"hot_word": "前端"},
    {"hot_word": "后端"},
    {"hot_word": "面试"},
    {"hot_word": "就业"},
    {"hot_word": "职场"},
    {"hot_word": "程序员"}
]

示例二：

我们也可以根据实际需求修改 csdn_spider.py 文件，从而得到一个特定的爬虫。

比如，我们需要爬取 CSDN 博客频道下的热榜。

import scrapy


class CsdnBlogSpider(scrapy.Spider):
    name = "csdn_blog_spider"
    allowed_domains = ["blog.csdn.net"]
    start_urls = [
        "https://blog.csdn.net/nav/web"
    ]

    def parse(self, response):
        hot_articles = response.css(".hot-list li a::text").extract()
        for hot_article in hot_articles:
            yield {
                "hot_article": hot_article
            }

上述代码中，我们仍然定义了 name、allowed_domains 和 start_urls，在 parse 函数中使用了 css 选择器选取热门文章标题。

接着，在终端中进入项目目录，运行如下命令启动该爬虫：

scrapy crawl csdn_blog_spider -o hot_articles.json

上述命令将会输出 hot_articles.json 文件，其中包括博客频道下爬虫所爬取的最新文章。

结语

以上即是通过 Scrapy 框架实现爬取 CSDN 全站热榜标题热词的完整攻略。其中，我们在 csdn_spider.py 文件中定义了爬虫，使用 scrapy crawl 命令启动爬虫，并最终输出 .json 文件。通过修改 csdn_spider.py 文件中的代码，我们也可以实现定制化需求的爬虫。