Python多线程中线程数量如何控制

Python 多线程中线程数量如何控制

在Python多线程中控制线程数量最常用的方法是使用线程池。线程池拥有固定数量的线程，可以接收任务，执行任务，再回收任务。线程池通过控制线程数量，尽量利用现有资源，避免过度创建和销毁线程，降低系统开销。

下面是一些示例说明如何使用线程池控制线程数量：

示例一：使用ThreadPoolExecutor实现线程池

import concurrent.futures
import time

def worker(num):
    print(f'Thread {num} start')
    time.sleep(1)
    print(f'Thread {num} end')
    return num

def main():
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        results = executor.map(worker, range(5))
        for result in results:
            print(result)

if __name__ == '__main__':
    main()

在这个示例中，我们使用ThreadPoolExecutor创建一个包含3个线程的线程池。使用executor.map函数将worker函数和一个range(5)的迭代器传递给线程池，线程池会自动分配任务到3个线程中去执行。这里的range(5)表示生成一个0-4的整数序列，对应每个任务的编号。

运行结果如下：

Thread 0 start
Thread 1 start
Thread 2 start
Thread 0 end
0
Thread 3 start
Thread 4 start
Thread 1 end
1
Thread 2 end
2
Thread 3 end
3
Thread 4 end
4

结果显示，线程池只创建了3个线程，分别执行了5个任务，线程池在执行完每个任务后会回收线程。

示例二：使用queue和threading模块实现线程池

import queue
import threading
import time

q = queue.Queue()

class WorkerThread(threading.Thread):

    def __init__(self, q):
        super().__init__()
        self.q = q

    def run(self):
        while True:
            work = self.q.get()
            if work is None:
                break
            num = work
            print(f'Thread {num} start')
            time.sleep(1)
            print(f'Thread {num} end')
            self.q.task_done()

def main():
    for i in range(5):
        q.put(i)

    workers = []
    for i in range(3):
        worker = WorkerThread(q)
        worker.start()
        workers.append(worker)

    q.join()

    for i in range(3):
        q.put(None)

    for worker in workers:
        worker.join()

if __name__ == '__main__':
    main()

在这个示例中，我们使用queue和threading模块手动实现了线程池。我们首先使用queue.Queue创建了一个任务队列，将5个任务放入队列中。接下来，我们创建了3个WorkerThread线程，每个线程会从任务队列中获取一个任务，执行任务，再回收任务。

使用q.join等待任务队列中所有任务执行完成后，使用q.put(None)向任务队列中放入3个None结束任务信号。最后调用每个线程的join函数等待所有线程结束。

运行结果如下：

Thread 0 start
Thread 1 start
Thread 2 start
Thread 0 end
Thread 3 start
Thread 1 end
0
Thread 2 end
1
Thread 3 end
2
Thread 4 start
Thread 4 end
3
4

综上，使用线程池是Python多线程中的一种常用方法，能够有效控制线程数量，优化系统性能。通过以上两个示例，我们掌握了使用ThreadPoolExecutor和queue、threading模块实现线程池的方法，希望对大家有所帮助。