解决windows下python3使用multiprocessing.Pool出现的问题

下面是针对“解决Windows下Python3使用multiprocessing.Pool出现的问题”的完整攻略。

问题描述

当我们在Windows系统下使用Python3时，使用multiprocessing.Pool进行多进程处理时可能会出现错误，提示如下：

RuntimeError: 
    An attempt has been made to start a new process before the
    current process has finished its bootstrapping phase.

    This probably means that you are not using fork to start your
    child processes and you have forgotten to use the proper idiom
    in the main module:

        if __name__ == '__main__':
            freeze_support()
            ...

    The "freeze_support()" line can be omitted if the program
    is not going to be frozen to produce a Windows executable.

错误信息的含义是：您试图在当前进程完成引导阶段之前启动新进程。这可能意味着您没有使用fork来启动子进程，并且忘记了在主模块中使用适当的习语。还有一种情况是，如果您的程序不会被冻结为生成Windows可执行文件，则可以省略“freeze_support()”行。

问题原因

这个问题的原因在于，当使用multiprocessing.Pool创建进程池时，Python在Windows系统下无法使用fork来创建进程。相反，它会使用spawn或forkserver来创建子进程。但是这种方式会导致某些全局变量（例如，数据库连接池）在创建子进程时被重复创建，从而导致错误。

提醒：在Linux系统下，Python默认使用fork来创建进程，因此不会出现这个问题。

解决方案

为了解决这个问题，我们可以使用以下三种方法中的一种或多种：

方法1：添加“if __name__ == '__main__':”和“freeze_support()”习语

将我们要执行的代码放在主函数中，并在主函数中添加如下代码：

if __name__ == '__main__':
    from multiprocessing import freeze_support
    freeze_support()
    # your code here

将freeze_support()添加到代码中会使得Python在Windows下以正确的方式启动multiprocessing.Pool。

方法2：使用multiprocessing.get_context()指定spawn或forkserver

在创建进程池之前，我们可以使用multiprocessing.get_context()函数来获取进程上下文，并且根据需要使用spawn或forkserver来启动进程池。

以下示例演示了如何使用get_context()来创建进程池。

from multiprocessing import get_context

def myfunc(x):
    return x*x

if __name__ == '__main__':
    ctx = get_context('spawn')
    with ctx.Pool(processes=4) as pool:
        result = pool.map(myfunc, range(10))
        print(result)

这里使用get_context('spawn')显式地指定使用spawn来创建子进程。

方法3：使用pathos.multiprocessing模块

pathos.multiprocessing是一个Python处理器扩展，以允许mutiprocessing跨计算机节点进行数据通信。

使用方法：

from pathos.multiprocessing import ProcessPool

def myfunc(x):
    return x*x

if __name__ == '__main__':
    pool = ProcessPool(4)
    result = pool.map(myfunc, range(10))
    print(result)

在这种情况下，我们不需要使用if __name__ == '__main__':和freeze_support()。

示例说明

下面是两个示例，说明如何使用if __name__ == '__main__':和freeze_support()来避免出现问题。

示例1：

import time
import multiprocessing as mp

def my_print(i):
    time.sleep(1)
    print(f"my_print-{i}")

def main():
    pool = mp.Pool(2)
    pool.map(my_print, range(4))
    pool.close()
    pool.join()

if __name__ == "__main__":
    mp.freeze_support()
    main()

在这个示例中，我们将进程池的大小设置为2，然后使用map函数来对每个输入参数调用my_print函数。在main函数中，我们创建一个新的multiprocessing.Pool，并使用pool.map()来简化多进程调用。最后，我们使用pool.close()和pool.join()等待所有子进程完成。

示例2：

from PyQt5.QtCore import QThread, pyqtSignal, QObject
import multiprocessing as mp

class Worker(QObject):
    trigger = pyqtSignal(str)

    def __init__(self):
        super().__init__()

    def my_print(self, i):
        my_str = f"my_print-{i}"
        self.trigger.emit(my_str)

    def run(self):
        pool = mp.Pool(2)
        pool.map(self.my_print, range(4))
        pool.close()
        pool.join()

if __name__ == "__main__":
    mp.freeze_support()

在这个示例中，我们使用PyQt5库来展示多线程，而在每个线程中，我们使用multiprocessing实现多进程。为了实现线程通信，我们使用了QT信号和槽机制。在上述代码中我们使用了QObject基类为我们创建了一个实例对象，并将线程在Worker类中实现。最后记得加上mp.freeze_support()来确保 Windows环境下 multiprocessing模块能够正常运行，代码的其余部分与示例1中一样。

希望这篇攻略可以帮助到您。