Python mutiprocessing多线程池pool操作示例

Python multiprocessing 库为用户提供了一种方便的方式来实现多进程并发编程，其中线程池代表着一种线程管理方式，使用线程池可以避免因过多的线程导致系统崩溃的问题。下面是完整的实现攻略和两条示例说明。

创建线程池

使用 Python 中 multiprocessing 库中的 Pool 类来创建线程池。下面是一个示例代码：

from multiprocessing import Pool

def func(x):
    return x * x

if __name__ == '__main__':
    with Pool(processes=4) as pool:
        result_list = pool.map(func, [1, 2, 3, 4, 5])
    print(result_list)

在这个示例中，我们首先定义了一个简单的函数 func 来计算传入数的平方，然后使用 Pool 类创建一个包含 4 个进程的线程池，并将 func 函数应用于输入列表中的每个元素。最后，我们将结果保存到一个列表中并打印出来。

关闭线程池

在使用完线程池后，我们需要关闭它，以避免资源耗尽。可以通过向 Pool 类的 close() 和 join() 方法发送信号来实现。

pool.close()
pool.join()

示例一：使用线程池计算斐波那契数列

下面是一个使用线程池计算斐波那契数列的示例。在这个示例中，我们定义了一个 fibonacci 函数来计算斐波那契数列的第 n 项，并使用线程池来并行计算前 10 个斐波那契数。

from multiprocessing import Pool

def fibonacci(n):
    if n == 0:
        return 0
    elif n == 1:
        return 1
    else:
        return fibonacci(n-1) + fibonacci(n-2)

if __name__ == '__main__':
    with Pool(processes=4) as pool:
        result_list = pool.map(fibonacci, [0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
    print(result_list)

在这个示例中，我们使用了递归算法来计算斐波那契数列的第 n 项，通过向 Pool 类的 map() 方法传递一个由 0 到 9 的整数列表，我们并行地计算了前 10 个斐波那契数。

示例二：使用线程池下载大量文件

下面是一个使用线程池下载大量文件的示例。在这个示例中，我们定义了一个 download_file 函数来下载一个文件，并使用线程池来并行下载多个文件。

import requests
import os
from multiprocessing import Pool

def download_file(url):
    response = requests.get(url)
    file_name = os.path.basename(url)
    with open(file_name, 'wb') as f:
        f.write(response.content)
    print(f'Download {file_name} success!')

if __name__ == '__main__':
    url_list = ['https://www.example.com/file1.jpg', 'https://www.example.com/file2.jpg', 'https://www.example.com/file3.jpg', 'https://www.example.com/file4.jpg', 'https://www.example.com/file5.jpg']
    with Pool(processes=4) as pool:
        pool.map(download_file, url_list)

在这个示例中，我们使用了 requests 库来下载文件，并在 download_file 函数中定义了下载逻辑。通过向 Pool 类的 map() 方法传递一个由多个文件下载链接组成的列表，我们并行地下载了多个文件。