实例代码讲解Python 线程池

下面是关于“实例代码讲解Python 线程池”的完整攻略。

1. 概述

Python 线程池是一种常见的并发编程方式，可以实现多个任务的并行处理。本文将介绍如何使用 Python 内置的 concurrent.futures 模块创建和使用线程池。

2. 创建线程池

在 Python 中创建线程池可以使用 ThreadPoolExecutor 类。以下是一个创建线程池的示例代码：

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(max_workers=2) as executor:
    # 使用 submit() 方法向线程池中提交任务
    future1 = executor.submit(foo, arg1, arg2)
    future2 = executor.submit(bar, arg3, arg4)

上述代码创建了一个最大工作线程数为 2 的线程池，并向线程池中提交了两个任务。其中，foo 和 bar 是两个具体的函数，arg1、arg2、arg3、arg4 是这两个函数的参数。

这里需要注意的是，submit() 方法会立即返回，并不会等待任务的完成。如果需要获取任务的返回结果，请使用 future 对象。

3. 获取任务返回结果

要获取任务的返回结果，需要使用 future 对象。以下是一个获取任务结果的示例代码：

from concurrent.futures import ThreadPoolExecutor

def foo(arg1, arg2):
    # 这里是任务执行的代码
    result = ...

with ThreadPoolExecutor(max_workers=2) as executor:
    future = executor.submit(foo, arg1, arg2)
    # 调用 result() 方法可以阻塞等待任务完成，并获取任务的返回结果
    result = future.result()

上述代码创建了一个线程池，并向线程池提交了一个任务。调用 future.result() 方法可以阻塞等待任务完成，并获取任务的返回结果。注意，如果任务还没有完成，result() 方法会一直阻塞，直到任务完成并返回结果。

4. 示例说明

下面我们来看两个具体的示例，以更加深入地了解线程池的使用。

示例一

假设我们需要统计一个文件夹下所有文件的大小，并计算总大小。这个任务可以拆分成多个子任务，每个子任务对应一个文件的大小统计。我们可以使用线程池来并发处理这些子任务，从而加快任务的执行速度。

以下是示例代码：

import os
from concurrent.futures import ThreadPoolExecutor

def get_file_size(file_path):
    # 统计文件大小
    return os.path.getsize(file_path)

def main(folder_path):
    # 获取文件夹下所有文件的路径
    file_paths = [os.path.join(folder_path, f) for f in os.listdir(folder_path) if os.path.isfile(os.path.join(folder_path, f))]

    # 使用线程池并行处理所有的文件，统计文件大小
    total_size = 0
    with ThreadPoolExecutor(max_workers=4) as executor:
        futures = [executor.submit(get_file_size, file_path) for file_path in file_paths]
        for future in futures:
            total_size += future.result()

    return total_size

在上述代码中，get_file_size() 函数是用于统计单个文件大小的函数，main() 函数遍历文件夹下所有文件，并使用线程池并行处理所有的文件，从而加速文件大小统计。

示例二

假设我们需要在一个循环中进行密集运算，而每个循环迭代都是完全独立的。我们可以使用线程池将每个循环迭代转换为一个子任务，并并行处理这些任务，从而提高运算速度。

以下是示例代码：

from concurrent.futures import ThreadPoolExecutor

def do_something(i):
    # 这里是密集运算的代码
    result = i * i
    return result

def main():
    # 使用线程池并行处理所有循环迭代
    with ThreadPoolExecutor(max_workers=4) as executor:
        futures = [executor.submit(do_something, i) for i in range(100)]
        results = [future.result() for future in futures]

    return results

在上述代码中，do_something() 函数是密集运算的函数，main() 函数使用线程池将循环迭代转换为子任务并行处理，从而提高该密集运算的运算速度。

结论

Python 线程池是实现多任务并行处理的一种有效方式，可以提高程序运行效率。使用 concurrent.futures 模块可以很方便地创建线程池，并在其中执行多个任务。同时，我们需要注意线程池中的任务处理顺序和结果处理顺序，以充分利用线程池的并发处理能力。