Python制作爬虫采集小说

Python制作爬虫采集小说 - 完整攻略

1. 确定目标网站和小说信息

首先，我们需要确定要爬取的目标网站以及该网站上的小说信息。可以在网站上查找需要的小说，在阅读页面中观察该小说的URL、作者、标题、简介等信息，这些信息将在后面的爬虫代码中需要用到。

需要注意的是，我们在爬取小说时要注意版权问题，不要侵犯任何人的合法权益。

以爬取《斗破苍穹》小说为例，我们可以从起点中文网（https://www.qidian.com/）进行爬取。

2. 安装相关爬虫工具和库

我们可以使用Python中的requests、beautifulsoup等第三方库，以及Scrapy框架来编写爬虫程序。在开始编写爬虫代码前，需要安装这些相关的工具和库。

在命令行中输入以下代码可以安装Python requests库：

pip install requests

输入以下代码可以安装beautifulsoup库：

pip install beautifulsoup4

输入以下代码可以安装Scrapy框架：

pip install scrapy

3. 编写爬虫代码

接下来，我们可以编写Python爬虫代码来自动爬取需要的小说信息。爬虫的基本流程是：

• 发送HTTP请求，获取HTML页面
• 通过beautifulsoup库解析HTML页面，获取需要的信息
• 处理获取到的信息，并将其保存到数据库或文件中

以Scrapy框架为例，我们先创建一个Scrapy项目：

scrapy startproject novel_spider

然后在项目下创建一个爬虫：

cd novel_spider
scrapy genspider qidian qidian.com

这里生成的爬虫名称为“qidian”，使用的域名为“qidian.com”。

我们在爬虫的start_requests方法中编写以下代码，发送HTTP请求来获取起点中文网的小说列表页面：

def start_requests(self):
    # 起点中文网小说列表页面URL
    url = 'https://www.qidian.com/all'

    yield scrapy.Request(url, self.parse)

在“parse”方法中，我们使用beautifulsoup库解析页面，并获取需要的小说信息，以及下一页的URL信息。我们以爬取《斗破苍穹》小说为例，编写以下代码：

def parse(self, response):
    # 获取小说列表
    soup = BeautifulSoup(response.text, 'lxml')
    book_list = soup.select(".book-mid-info")

    for book in book_list:
        # 获取小说信息
        book_url = book.select(".book-mid-info h4 a")[0].get("href")
        book_name = book.select(".book-mid-info h4 a")[0].get("title")
        book_author = book.select(".book-mid-info .author")[0].text.strip()
        book_intro = book.select(".book-mid-info .intro")[0].text.strip()

        # 如果是《斗破苍穹》小说，则进入小说详情页面爬取章节信息
        if "斗破苍穹" in book_name:
            yield response.follow(book_url, self.parse_book)

    # 获取下一页的URL
    next_page = soup.select(".lbf-pagination-next")[0].get("href")

    if next_page:
        yield response.follow(next_page, self.parse)

在“parse_book”方法中，我们进入小说详情页面并爬取小说的章节信息：

def parse_book(self, response):
    # 获取小说章节列表
    soup = BeautifulSoup(response.text, 'lxml')
    chapters = soup.select(".volume li")

    for chapter in chapters:
        # 获取章节信息
        chapter_name = chapter.select("a")[0].text
        chapter_url = chapter.select("a")[0].get("href")

        yield {
            'chapter_name': chapter_name,
            'chapter_url': chapter_url
        }

爬取的结果将以字典的形式保存。

4. 数据存储

最后，我们可以将获取到的小说信息保存到数据库或文件中。以将小说章节URL保存到文件中为例，我们可以在“parse_book”方法中添加以下代码：

def parse_book(self, response):
    # 获取小说章节列表
    soup = BeautifulSoup(response.text, 'lxml')
    chapters = soup.select(".volume li")

    for chapter in chapters:
        # 获取章节信息
        chapter_name = chapter.select("a")[0].text
        chapter_url = chapter.select("a")[0].get("href")

        # 将小说章节URL保存到文件中
        with open('chapters.txt', 'a+', encoding='utf-8') as f:
            f.write(chapter_url + '\n')

        yield {
            'chapter_name': chapter_name,
            'chapter_url': chapter_url
        }

这样我们就可以将小说章节URL保存到名为“chapters.txt”的文件中。

5. 示例说明

以下是通过Scrapy框架爬取《斗破苍穹》小说的示例代码：

import scrapy
from bs4 import BeautifulSoup

class QidianSpider(scrapy.Spider):
    name = 'qidian'
    allowed_domains = ['qidian.com']
    start_urls = ['https://www.qidian.com/all']

    def start_requests(self):
        """
        爬取起点中文网小说列表页面
        """
        yield scrapy.Request(self.start_urls[0], self.parse)

    def parse(self, response):
        """
        解析小说列表页面，并获取小说信息和下一页URL
        如果是《斗破苍穹》小说，则进入小说详情页面爬取章节信息
        """
        soup = BeautifulSoup(response.text, 'lxml')
        book_list = soup.select(".book-mid-info")

        for book in book_list:
            book_url = book.select(".book-mid-info h4 a")[0].get("href")
            book_name = book.select(".book-mid-info h4 a")[0].get("title")
            book_author = book.select(".book-mid-info .author")[0].text.strip()
            book_intro = book.select(".book-mid-info .intro")[0].text.strip()

            if "斗破苍穹" in book_name:
                yield response.follow(book_url, self.parse_book)

        next_page = soup.select(".lbf-pagination-next")[0].get("href")

        if next_page:
            yield response.follow(next_page, self.parse)

    def parse_book(self, response):
        """
        进入小说详情页面爬取章节信息
        """
        soup = BeautifulSoup(response.text, 'lxml')
        chapters = soup.select(".volume li")

        for chapter in chapters:
            chapter_name = chapter.select("a")[0].text
            chapter_url = chapter.select("a")[0].get("href")

            with open('chapters.txt', 'a+', encoding='utf-8') as f:
                f.write(chapter_url + '\n')

            yield {
                'chapter_name': chapter_name,
                'chapter_url': chapter_url
            }

保存以上代码为“qidian_spider.py”文件，执行以下命令可以启动爬虫程序：

scrapy runspider qidian_spider.py

这样就可以按照以上步骤爬取《斗破苍穹》小说。