Python爬虫入门教程02之笔趣阁小说爬取

下面是“Python爬虫入门教程02之笔趣阁小说爬取”的详细攻略。

一、准备工作

在开始爬取笔趣阁小说之前，需要安装相关的Python库。常用的爬虫库有requests、beautifulsoup4、re等。

使用pip命令安装：

pip install requests
pip install beautifulsoup4
pip install re

安装完成后，在代码中导入这些库。

二、分析网页

在代码中，需要分析笔趣阁小说网页的HTML结构。可以使用浏览器的开发者工具进行分析。

例如，要爬取《一念永恒》小说，可以从以下页面开始：

http://www.biquge.com.tw/0_996/

分析页面可以得到以下信息：

• 总共有多少章节
• 每章节的地址

三、编写代码

在代码中，可以使用requests库向网站服务器发送请求，得到返回的HTML内容。然后再使用beautifulsoup4库进行解析，提取出需要的章节和内容。

以下是一个示例代码：

import requests
from bs4 import BeautifulSoup

# 请求URL并把结果用utf-8编码
url = 'http://www.biquge.com.tw/0_996/'
res = requests.get(url)
res.encoding = 'utf-8'

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(res.text, 'html.parser')

# 获取小说的标题
title = soup.select('div.bookname > h1')[0].text

# 获取小说的每个章节的地址
chapter_links = []
for chapter in soup.select('div#list > dl > dd > a'):
    chapter_links.append('http://www.biquge.com.tw' + chapter.get('href'))

# 循环读取每个章节的内容
for chapter_link in chapter_links:
    # 请求章节地址并把结果用utf-8编码
    chapter_res = requests.get(chapter_link)
    chapter_res.encoding = 'utf-8'
    chapter_soup = BeautifulSoup(chapter_res.text, 'html.parser')

    # 获取章节标题和内容
    chapter_title = chapter_soup.select('div.bookname > h1')[0].text
    chapter_content = chapter_soup.select('div#content')[0].text.strip().replace('\n', '')

    # 输出结果
    print(chapter_title)
    print(chapter_content)

运行代码后，会输出小说的每个章节的标题和内容。

四、示例说明

示例1：爬取《斗破苍穹》小说

爬取《斗破苍穹》小说的代码基本与上述示例相同，只需要更改一下小说的地址即可。

import requests
from bs4 import BeautifulSoup

# 请求URL并把结果用utf-8编码
url = 'http://www.biquge.com.tw/0_780/'
res = requests.get(url)
res.encoding = 'utf-8'

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(res.text, 'html.parser')

# 获取小说的标题
title = soup.select('div.bookname > h1')[0].text

# 获取小说的每个章节的地址
chapter_links = []
for chapter in soup.select('div#list > dl > dd > a'):
    chapter_links.append('http://www.biquge.com.tw' + chapter.get('href'))

# 循环读取每个章节的内容
for chapter_link in chapter_links:
    # 请求章节地址并把结果用utf-8编码
    chapter_res = requests.get(chapter_link)
    chapter_res.encoding = 'utf-8'
    chapter_soup = BeautifulSoup(chapter_res.text, 'html.parser')

    # 获取章节标题和内容
    chapter_title = chapter_soup.select('div.bookname > h1')[0].text
    chapter_content = chapter_soup.select('div#content')[0].text.strip().replace('\n', '')

    # 输出结果
    print(chapter_title)
    print(chapter_content)

示例2：爬取《诛仙》小说

同样的，爬取《诛仙》小说只需要更改小说的地址。

import requests
from bs4 import BeautifulSoup

# 请求URL并把结果用utf-8编码
url = 'http://www.biquge.com.tw/0_5/'
res = requests.get(url)
res.encoding = 'utf-8'

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(res.text, 'html.parser')

# 获取小说的标题
title = soup.select('div.bookname > h1')[0].text

# 获取小说的每个章节的地址
chapter_links = []
for chapter in soup.select('div#list > dl > dd > a'):
    chapter_links.append('http://www.biquge.com.tw' + chapter.get('href'))

# 循环读取每个章节的内容
for chapter_link in chapter_links:
    # 请求章节地址并把结果用utf-8编码
    chapter_res = requests.get(chapter_link)
    chapter_res.encoding = 'utf-8'
    chapter_soup = BeautifulSoup(chapter_res.text, 'html.parser')

    # 获取章节标题和内容
    chapter_title = chapter_soup.select('div.bookname > h1')[0].text
    chapter_content = chapter_soup.select('div#content')[0].text.strip().replace('\n', '')

    # 输出结果
    print(chapter_title)
    print(chapter_content)

以上就是“Python爬虫入门教程02之笔趣阁小说爬取”的完整攻略。