python线程池 ThreadPoolExecutor 的用法示例

下面是关于 Python 的线程池 ThreadPoolExecutor 的用法示例攻略。

什么是 ThreadPoolExecutor

ThreadPoolExecutor 是 Python 库里的一个线程池库，用于管理和调度线程。通过使用线程池，可以简化线程的创建、维护和销毁等操作，提高线程的利用率和效率。

ThreadPoolExecutor 的基础用法

ThreadPoolExecutor 的基础用法需要使用如下三个参数：

• max_workers：线程池的最大线程数。
• thread_name_prefix：线程名称的前缀。
• initializer：线程池的初始化函数（可选）。

下面是一个基础用法示例：

import concurrent.futures
import time

def say_hello(name):
    print(f"Hello, {name}!")
    time.sleep(1)

with concurrent.futures.ThreadPoolExecutor(max_workers=5,
                                            thread_name_prefix='Test-') as executor:
    future_to_name = {executor.submit(say_hello, f"Mike-{i}"): f"Mike-{i}" for i in range(5)}
    concurrent.futures.wait(future_to_name)

上面的代码中，我们通过 concurrent.futures.ThreadPoolExecutor 函数创建了一个线程池。其中 max_workers=5 代表最多可以有五个线程同时执行；thread_name_prefix='Test-' 是线程名称的前缀；executor.submit() 函数用于将函数放入线程池中执行。

使用 ThreadPoolExecutor 实现并发访问

相信大家都知道如何使用 requests 库来实现 HTTP 客户端编程，常见的思路就是用 for 循环遍历所有的 url，创建多个线程来并行处理。下面我们通过一个例子来展示如何使用 ThreadPoolExecutor 来实现同样的功能。

import concurrent.futures
import requests
import time

url_list = ['https://www.baidu.com', 'https://www.taobao.com', 'https://www.qq.com']

def fetch_url(url):
    reponse = requests.get(url)
    return reponse.text

with concurrent.futures.ThreadPoolExecutor(max_workers=3, thread_name_prefix='Fetcher-') as executor:
    future_to_url = {executor.submit(fetch_url, url): url for url in url_list}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
            print(f"{url} returned {len(data)} bytes in {data.count(' ')} spaces.")
        except Exception as exc:
            print(f"{url} generated an exception: {exc}")

上面的代码中，我们首先定义了一个 url_list，里面存储了三个需要访问的 URL 地址。然后定义了一个 fetch_url 函数，这个函数将进行网络访问，并返回响应的文本数据。

在主函数中，我们使用 ThreadPoolExecutor 创建了一个最多同时执行三个线程的线程池。将 url_list 中的 URL 地址逐一传入到 fetch_url 函数中。as_completed 的作用是按照完成顺序返回每一个 Future 对象，使用 future_to_url[future] 就可以获取到当前线程执行的 URL 地址，最后将结果打印出来。

总结

以上就是 Python 的线程池 ThreadPoolExecutor 的基础用法，希望能够对大家有所帮助。