Python 50行爬虫抓取并处理图灵书目过程详解

这篇文章是介绍如何使用 Python 编写一个简单的爬虫程序，抓取并处理图灵书目的过程。下面是具体的步骤：

1. 分析目标网站

首先，我们需要分析目标网站的结构和数据。图灵社区提供了一个书目页面，我们可以从这个页面获取图灵社区上所有的书籍信息。这个页面的地址是 https://www.ituring.com.cn/book?tab=book&sort=hot&page=0 。我们可以通过查看网页源代码，找到书籍信息所在的 HTML 元素，并得到它的 CSS 选择器。

2. 构建爬虫程序

了解了目标网站的结构之后，我们就可以着手编写爬虫程序了。这个程序的任务包括：

1. 下载目标网站上的 HTML 页面
2. 解析 HTML 页面，提取出书籍信息
3. 处理书籍信息，并将其保存到一个文件中

我们可以使用 Python 中的 requests 库来下载 HTML 页面，使用 BeautifulSoup 库来解析 HTML 页面，以及使用 re 库来提取需要的信息。下面是一个示例代码，展示了如何抓取并保存一本书的信息。

import requests
from bs4 import BeautifulSoup
import re

# 下载页面
url = 'https://www.ituring.com.cn/book/2489'
response = requests.get(url)

# 解析页面
soup = BeautifulSoup(response.text, 'html.parser')
book_title = soup.select_one('.book-h1 > h1').get_text()
book_author = soup.select_one('.book-author').get_text().strip()
book_desc = soup.select_one('.book-summary').get_text().strip()
book_img_url = soup.select_one('.book-img > img')['src']

# 保存书籍信息
with open('book.txt', 'w', encoding='utf-8') as f:
    f.write(f'书名：{book_title}\n')
    f.write(f'作者：{book_author}\n')
    f.write(f'简介：{book_desc}\n')
    f.write(f'封面图片链接：{book_img_url}\n')

这个代码会访问 https://www.ituring.com.cn/book/2489 页面，解析页面上的书籍信息，并将书籍信息保存到 book.txt 文件中。

3. 扩展爬虫程序

有了初步的爬虫程序之后，我们可以对其进行扩展，以抓取更多的书籍信息。我们可以将代码封装成一个函数，接收一个 URL 参数，从指定的页面上抓取数据。同时，我们可以通过修改 URL 参数，抓取更多页面上的数据。

下面是一个示例代码，展示了如何抓取并保存多本书的信息：

import requests
from bs4 import BeautifulSoup
import re

# 抓取一本书的信息
def crawl_book_info(url):
    # 下载页面
    response = requests.get(url)

    # 解析页面
    soup = BeautifulSoup(response.text, 'html.parser')
    book_title = soup.select_one('.book-h1 > h1').get_text()
    book_author = soup.select_one('.book-author').get_text().strip()
    book_desc = soup.select_one('.book-summary').get_text().strip()
    book_img_url = soup.select_one('.book-img > img')['src']

    # 保存书籍信息
    with open('book.txt', 'a', encoding='utf-8') as f:
        f.write(f'书名：{book_title}\n')
        f.write(f'作者：{book_author}\n')
        f.write(f'简介：{book_desc}\n')
        f.write(f'封面图片链接：{book_img_url}\n')

# 抓取多本书的信息
for i in range(10):
    url = f'https://www.ituring.com.cn/book?tab=book&sort=hot&page={i}'
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    book_items = soup.select('.book-list > li')

    for book_item in book_items:
        book_url = f'https://www.ituring.com.cn{book_item.select_one("a")["href"]}'
        crawl_book_info(book_url)

这个代码会从 https://www.ituring.com.cn/book?tab=book&sort=hot&page=0 页面开始，抓取 10 页上的书籍信息，并将书籍信息保存到 book.txt 文件中。

总之，以上是一个简单的爬虫程序的例子，包括基本的数据抓取，数据解析以及数据处理，以及扩展程序以抓取更多数据的方法。