针对“Python 多线程爬取案例”这个主题，以下是我提供的完整攻略：

Python 多线程爬取案例

介绍

在进行网络爬虫时，我们经常需要同时处理多个网页的数据。这就需要用到多线程编程，通过同时执行多段任务，提高程序效率和性能。Python 有专门处理多线程的模块 threading，可以让我们方便地实现并行操作。

本文将介绍如何使用 Python 多线程模块爬取网页数据，并展示两个示例。

步骤

步骤一：导入必要的库

首先要导入必要的库，requests 用于网络请求，threading 用于多线程编程。

import requests
import threading

步骤二：定义爬虫函数

定义一个爬虫函数，用于请求并获取网页数据。以下为一个示例，可以根据实际需要进行修改。

def spider(url):
    res = requests.get(url)
    # 处理爬取下来的数据
    ...

步骤三：多线程爬取数据

使用多线程编程，同时爬取多个网页的数据，可通过创建多个线程实现。以下是一个示例。

def main():
    urls = [
        'https://www.baidu.com',
        'https://www.zhihu.com',
        'https://www.github.com'
    ]
    threads = []
    for url in urls:
        # 创建线程
        t = threading.Thread(target=spider, args=(url,))
        # 启动线程
        t.start()
        threads.append(t)
    # 等待所有线程执行完毕
    for t in threads:
        t.join()

以上代码创建了3个线程，分别爬取百度、知乎、Github的数据。使用 start() 方法启动线程，使用 join() 方法等待所有线程执行完毕。

步骤四：处理爬取的数据

通过爬虫函数可以获取到网络请求返回的数据，需要对数据进行解析和处理。以下是一个示例：

import threading
import requests
from bs4 import BeautifulSoup


def spider(url):
    res = requests.get(url)
    soup = BeautifulSoup(res.content, 'html.parser')
    # 打印标题
    print(soup.title.string)


def main():
    urls = [
        'https://www.baidu.com',
        'https://www.zhihu.com',
        'https://www.github.com'
    ]
    threads = []
    for url in urls:
        # 创建线程
        t = threading.Thread(target=spider, args=(url,))
        # 启动线程
        t.start()
        threads.append(t)
    # 等待所有线程执行完毕
    for t in threads:
        t.join()


if __name__ == '__main__':
    main()

以上代码通过 BeautifulSoup 模块对爬取的数据进行解析，并打印出网页的标题。

示例

示例一：使用多线程爬取图片

以下是一个示例，可以使用多线程从指定的网站上爬取图片。可以运行以下代码，将获取到的图片保存到本地。

import os
import requests
import threading
from bs4 import BeautifulSoup


def download_img(url, path):
    res = requests.get(url)
    with open(path, 'wb') as f:
        f.write(res.content)


def spider(url, save_path):
    res = requests.get(url)
    soup = BeautifulSoup(res.content, 'html.parser')
    # 获取所有图片链接
    imgs = soup.find_all('img')
    threads = []
    for img in imgs:
        src = img.get('src')
        if src and src.startswith('http'):
            # 获取图片名
            img_name = src.split('/')[-1]
            # 创建线程，下载图片
            t = threading.Thread(target=download_img, args=(src, os.path.join(save_path, img_name)))
            # 启动线程
            t.start()
            threads.append(t)
    # 等待所有线程执行完毕
    for t in threads:
        t.join()


def main():
    url = 'https://unsplash.com/'
    save_path = './images'
    if not os.path.exists(save_path):
        os.makedirs(save_path)
    spider(url, save_path)


if __name__ == '__main__':
    main()

示例二：使用多线程爬取豆瓣电影数据

以下是一个示例，可以通过豆瓣电影API接口，使用多线程爬取指定类型的电影数据。可以根据需要自行修改参数。

import requests
import threading


def get_movies(tag, start, count):
    url = f'https://api.douban.com/v2/movie/search?tag={tag}&start={start}&count={count}'
    res = requests.get(url)
    data = res.json()
    return data


def spider(tag):
    start = 0
    count = 50
    movies = []
    while True:
        data = get_movies(tag, start, count)
        if not data.get('subjects'):
            break
        movies.extend(data.get('subjects'))
        start += count
    for movie in movies:
        print(movie.get('title'))


def main():
    tags = ['热门', '最新', '经典', '豆瓣高分']
    threads = []
    for tag in tags:
        # 创建线程
        t = threading.Thread(target=spider, args=(tag,))
        # 启动线程
        t.start()
        threads.append(t)
    # 等待所有线程执行完毕
    for t in threads:
        t.join()


if __name__ == '__main__':
    main()

以上代码通过豆瓣电影API接口，使用多线程并行爬取不同类型的电影数据，并输出电影的标题信息。

结语

通过上述介绍和示例，可以使用多线程编程更高效地实现网络爬虫。但需要注意的是，多线程编程存在一些问题，如数据共享与竞争，线程安全等，需要注意多线程并发编程的注意事项。