下面我就为你详细讲解“Python 爬虫学习笔记之单线程爬虫”的完整攻略。

Python 爬虫学习笔记之单线程爬虫

什么是单线程爬虫？

单线程爬虫是指所有的爬取操作都在一个线程上执行，也就是说只有在当前任务完成之后，才会继续下一个任务。单线程爬虫实际上是指的单进程爬虫。

单线程爬虫的优缺点

优点

• 编写简单，易于上手
• 不会出现并发问题

缺点

• 爬虫速度慢
• 对网站的负担较大
• 容易被封ip

单线程爬虫的实现

单线程爬虫的实现包括以下几步：

1. 确定爬取目标
2. 发送http请求
3. 解析http响应
4. 处理数据

下面通过两个示例具体说明。

示例一：爬取豆瓣电影TOP250

确定爬取目标

我们要爬取的是豆瓣电影top250页面：https://movie.douban.com/top250

发送http请求

我们可以使用Python的requests库来发送http请求。代码如下：

import requests

url = 'https://movie.douban.com/top250'
response = requests.get(url)

解析http响应

获取到的响应是一个包含HTML代码的字符串，我们需要使用网页解析库BeautifulSoup对其进行解析。代码如下：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
top250 = soup.select('#content > div > div.article > ol > li > div > div.info > div.hd > a > span')
for movie in top250:
    print(movie.text)

处理数据

我们只是简单地将电影名称输出到了控制台，可以根据需要进行数据的处理和存储。

示例二：爬取百度图片

确定爬取目标

我们要爬取的是“熊猫”这个关键字的图片搜索结果，即https://image.baidu.com/search/index?tn=baiduimage&word=%E7%86%8A%E7%8C%AB

发送http请求

我们仍然可以使用Python的requests库来发送http请求。代码如下：

import requests

url = 'https://image.baidu.com/search/index?tn=baiduimage&word=熊猫'
response = requests.get(url)

解析http响应

获取到的响应是一个包含JSON数据的字符串，我们需要使用json库将其转化为Python对象。代码如下：

import json

data = json.loads(response.text)
urls = [d['thumbURL'] for d in data['data']]

处理数据

我们将搜索结果中的图片URL提取出来，并根据需要进行数据的处理和存储。

结语

以上就是单线程爬虫的完整攻略，通过示例的讲解可以看出，单线程爬虫虽然实现简单，但效率较低，容易受到限制。如果需要进一步提高爬取效率，可以考虑使用多线程或异步编程技术。