Python 进程之间共享数据(全局变量)的方法

yizhihongxing

实现多进程之间的数据共享,可以通过使用共享内存的方式,或者使用第三方库multiprocessing中提供的Manager类型,下面分别进行详细的介绍。

使用共享内存

使用共享内存的方式,需要使用multiprocessing中提供的Value、Array对象。Value用于基本类型的共享内存,而Array用于数组的共享内存。

Value

Value用于创建共享内存中的基本类型变量,并且可以通过value属性进行读写。以下为一个示例:

import multiprocessing

def func(val):
    val.value += 1
    print(val.value)

if __name__ == '__main__':
    val = multiprocessing.Value('i', 0)
    process1 = multiprocessing.Process(target=func, args=(val,))
    process2 = multiprocessing.Process(target=func, args=(val,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

1
2

这里创建了一个共享变量val,使用了Value对象,并且将类型指定为‘i’,即整型。在进程中,通过val.value可以进行对共享变量的读写。这里创建了两个进程,两个进程都对val进行了5次加1操作,最终输出结果为1、2。

Array

和Value类似,Array也需要指定类型,但可以指定类型为任意数组。以下为一个示例:

import multiprocessing

def func(arr):
    for i in range(len(arr)):
        arr[i] += 1
    print(arr[:])

if __name__ == '__main__':
    arr = multiprocessing.Array('i', [0, 1, 2, 3, 4])
    process1 = multiprocessing.Process(target=func, args=(arr,))
    process2 = multiprocessing.Process(target=func, args=(arr,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

[2, 3, 4, 5, 6]
[3, 4, 5, 6, 7]

这里创建了一个共享数组arr,使用了Array对象,并且将类型指定为‘i’,即整型。在进程中,可以通过arr[:]来进行对共享数组的读写。这里创建了两个进程,两个进程都对arr进行了5次加1操作,最终输出结果为两个进程操作后的arr。

使用Manager类型

Manager类型可以在多进程间共享任意Python对象,包括list、dict、Queue等等,使用Manager需要深入了解Python对象的序列化和反序列化操作。以下为一个示例:

import multiprocessing

def func(d):
    d[1] = 'a'
    print(d)

if __name__ == '__main__':
    manager = multiprocessing.Manager()
    dict_shared = manager.dict()
    dict_shared[0] = 'b'
    process1 = multiprocessing.Process(target=func, args=(dict_shared,))
    process2 = multiprocessing.Process(target=func, args=(dict_shared,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

{0: 'b', 1: 'a'}
{0: 'b', 1: 'a'}

这里创建了一个共享字典dict_shared,使用了Manager对象,Manager对象可以创建一个共享变量,并且可以放进任意Python对象,如字典,字典的读写可以通过[]进行操作。这里同样创建了两个进程,对dict_shared进行读写操作,最终输出2个进程对dict_shared的读写结果。

总结

以上介绍了多进程之间共享数据的两种方法,分别是使用共享内存的方式,或者使用第三方库multiprocessing中提供的Manager类型。根据不同的使用场景,选择不同的方法。共享内存具有读写速度快的优点,但是存在数据不安全的问题;而Manager类型虽然不存在数据不安全问题,但是增加了序列化、反序列化等操作,导致读写速度相对较慢。

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python 进程之间共享数据(全局变量)的方法 - Python技术站

(1)
上一篇 2023年5月19日
下一篇 2023年5月19日

相关文章

  • pip install python 快速安装模块的教程图解

    pip install python 快速安装模块的教程图解 简介 pip是Python中的一个包管理工具,可以安装Python项目所依赖的第三方库,使得Python开发者可以轻松找到、安装、升级和删除Python模块。本文就是要通过图解的方式,讲解pip的安装和使用方法。 安装pip 首先,我们需要下载pip的安装文件,官网下载链接为:https://py…

    python 2023年5月14日
    00
  • 解决Python requests库编码 socks5代理的问题

    以下是关于“解决Python requests 库编码 socks5 代理的问题”的完整攻略: 解决 Python requests 库编码 socks5 代理的问题 在使用 Python requests 库时,我们可能需要使用 socks5 代理。然而,使用 socks5 代理时,可能会遇到编码问题。以下是解决 Python requests 库编码 s…

    python 2023年5月15日
    00
  • 如何在Python中插入SQLite数据库中的数据?

    以下是在Python中插入SQLite数据库中的数据的完整使用攻略。 插入SQLite数据库中的数据简介 在Python中,可以使用sqlite3模块连接SQLite数据库,并使用INSERT INTO语句插入数据。插入数据时,可以使用VALUES子句指定要插入的值,也可以使用SELECT语句从其他表中选择插入的值。 步骤1:导入模块 在Python中,使用…

    python 2023年5月12日
    00
  • Python的None和C++的NULL用法解读

    下面是我对于Python的None和C++的NULL用法解读的攻略。 Python的None和C++的NULL用法解读 Python的None 概述 Python中的None是一个特殊的数据类型,代表空值,相当于其他编程语言中的NULL、nil、undefined等。None不等同于空字符串、空列表、空字典等,它是一个唯一的对象,有自己的类型。 用法 在Py…

    python 2023年5月13日
    00
  • Python利用shutil实现拷贝文件功能

    Python可以利用shutil模块实现拷贝文件的功能。下面是具体步骤: 导入shutil模块 在Python程序中,首先要导入shutil模块。 import shutil 使用shutil.copy()或shutil.copyfile()函数 然后利用shutil.copy()或shutil.copyfile()函数进行文件的拷贝。 方式1:使用shut…

    python 2023年6月3日
    00
  • 简单讲解Python中的闭包

    下面是关于“简单讲解Python中的闭包”的完整攻略: 什么是闭包 闭包指的是一个函数返回了一个内部函数,并且该内部函数引用了外部函数中的变量。简单来说,闭包是指一个函数,它可以访问并记住自己的定义体中引用了的自由变量的值,即使在函数返回后这些变量也不会消失。 闭包的定义 在Python语言中,闭包的定义如下: def outer_func(): x = 1…

    python 2023年5月18日
    00
  • 带有 WinPython-64bit-3.5.1.2 的 Python 拒绝在 Windows 7 上启动?

    【问题标题】:Python with WinPython-64bit-3.5.1.2 refuses to start on Windows 7?带有 WinPython-64bit-3.5.1.2 的 Python 拒绝在 Windows 7 上启动? 【发布时间】:2023-04-07 14:59:01 【问题描述】: 在 Windows 7 下,一旦安…

    Python开发 2023年4月8日
    00
  • Python 第三方日志框架loguru使用

    当下的 Python 日志系统很复杂,各种日志框架比比皆是。在这些框架中,Loguru 是一个功能强大且极易上手的日志框架,在使用方面非常简单。下面将介绍Loguru的优势、核心功能以及如何使用它。 Loguru 的优势 强大的配置能力 支持异常信息捕捉 附带统一格式的日志 具有极佳的性能,适用于高并发场景 安装 Loguru 终端 / 控制台:pip in…

    python 2023年5月31日
    00
合作推广
合作推广
分享本页
返回顶部