python爬虫中多线程的使用详解

Python爬虫中多线程的使用详解

在Python爬虫中，多线程是一种实现多任务并行执行的常用方式。由于爬虫通常需要大量的网络IO操作，使用多线程能够最大化地利用网络IO的效率，从而提高整个爬取过程的速度。在本文中，我将详细讲解如何在Python爬虫中使用多线程。

为什么要使用多线程

在Python爬虫中，大部分时间都花费在等待网络IO操作的结果上。例如，当爬虫向某个网站发送请求时，需要等待该网站的响应，这段时间内爬虫就处于闲置状态。在没有多线程的情况下，爬虫只能等待当前请求的响应返回后才能进行下一个请求，因此无法充分利用闲置时间，导致爬取速度慢。

使用多线程可以在爬虫等待网络IO操作的过程中，同时执行其他任务，从而充分利用CPU资源和网络IO效率，提高爬取速度。

运用多线程实现爬虫

下面我们来看两个具体的示例，以讲解如何运用多线程实现爬虫。在这两个示例中，我们将使用Python的标准库threading来创建多线程。

示例一：爬取图片

假设我们需要爬取一个网站上的图片，并将这些图片保存到本地。

1. 单线程爬取图片

首先，我们可以使用单线程的方式爬取这些图片，示例代码如下：

import requests

def download_pic(url, name):
    r = requests.get(url)
    with open(name, 'wb') as f:
        f.write(r.content)

def crawl_pics():
    url_list = [...]  # 存储图片url的列表
    for i, url in enumerate(url_list):
        filename = f'{i}.jpg'
        download_pic(url, filename)

if __name__ == '__main__':
    crawl_pics()

在这段代码中，我们定义了一个download_pic函数来下载单张图片，然后在crawl_pics函数中遍历所有的图片url，并依次调用download_pic函数进行下载。这种方式是单线程的方式，它只能依次下载每张图片，速度比较慢。

2. 多线程爬取图片

接下来，我们使用多线程来加速下载过程，示例代码如下：

import requests
import threading

def download_pic(url, name):
    r = requests.get(url)
    with open(name, 'wb') as f:
        f.write(r.content)

def crawl_pics():
    url_list = [...]  # 存储图片url的列表
    thread_list = []
    for i, url in enumerate(url_list):
        filename = f'{i}.jpg'
        t = threading.Thread(target=download_pic, args=(url, filename))
        thread_list.append(t)
        t.start()

    for t in thread_list:
        t.join()

if __name__ == '__main__':
    crawl_pics()

在这段代码中，我们将download_pic函数作为线程的target，并将url和filename作为函数的参数传递给线程。在遍历图片url列表时，我们创建了一个线程列表thread_list，并将每个线程加入到这个列表中。然后，我们调用每个线程的start方法，使它们开始执行download_pic函数。

最后，我们使用join方法等待每个线程执行完毕。由于线程是并行执行的，所以下载速度会大大提高。

示例二：爬取电影

假设我们需要从一个电影网站上爬取最新的电影信息，并将这些信息存储到数据库中。

1. 单线程爬取电影信息

首先，我们可以使用单线程的方式爬取电影信息，示例代码如下：

import requests
import json
import datetime
import pymysql

def parse_movie_info(html):
    # 解析html，提取电影信息
    ...

def save_movie_info(movie_info):
    # 将电影信息存储到数据库中
    ...

def crawl_movie():
    url = 'https://www.example.com/movies/latest'
    r = requests.get(url)
    html = r.text
    movie_info = parse_movie_info(html)
    save_movie_info(movie_info)

if __name__ == '__main__':
    crawl_movie()

在这段代码中，我们定义了一个parse_movie_info函数来解析html，并提取电影信息，然后定义了一个save_movie_info函数来将电影信息存储到数据库中。在crawl_movie函数中，我们发送请求，并将其返回的html传入parse_movie_info函数中进行解析，并将解析出的电影信息传给save_movie_info函数保存到数据库中。

2. 多线程爬取电影信息

接下来，我们使用多线程来加速爬取电影信息的过程，示例代码如下：

import requests
import json
import datetime
import pymysql
import threading

def parse_movie_info(html):
    # 解析html，提取电影信息
    ...

def save_movie_info(movie_info):
    # 将电影信息存储到数据库中
    ...

def crawl_movie():
    url_list = [...]  # 存储要爬取的url列表
    thread_list = []
    for url in url_list:
        t = threading.Thread(target=crawl_movie_info, args=(url,))
        thread_list.append(t)
        t.start()

    for t in thread_list:
        t.join()

def crawl_movie_info(url):
    r = requests.get(url)
    html = r.text
    movie_info = parse_movie_info(html)
    save_movie_info(movie_info)

if __name__ == '__main__':
    crawl_movie()

在这段代码中，我们将crawl_movie_info函数作为线程的target，并将url作为函数的参数传递给线程。在遍历url列表时，我们创建了一个线程列表thread_list，并将每个线程加入到这个列表中。然后，我们调用每个线程的start方法，使它们开始执行crawl_movie_info函数。

最后，我们使用join方法等待每个线程执行完毕。由于线程是并行执行的，所以爬取速度会大大提高。

注意事项

当使用多线程时，我们需要注意以下几点：

1. 多个线程共享数据时需要进行加锁，防止数据竞态。
2. 线程池等技术在一些场景下可以提高效率，但也需要根据具体情况进行选择。

在使用多线程时，我们还需要注意如何合理地设置线程数量。过多的线程数量会导致线程切换开销过大，影响效率，而过少的线程数量则不能最大化地利用CPU和网络IO资源。根据具体情况进行调整。

总结

本文讲解了在Python爬虫中使用多线程的方法，并给出了两个示例。在实际应用中，我们需要根据具体的场景和需求来选择合适的多线程技术和线程数量，以提高爬取速度和效率。