Python 进程之间共享数据(全局变量)的方法

实现多进程之间的数据共享,可以通过使用共享内存的方式,或者使用第三方库multiprocessing中提供的Manager类型,下面分别进行详细的介绍。

使用共享内存

使用共享内存的方式,需要使用multiprocessing中提供的Value、Array对象。Value用于基本类型的共享内存,而Array用于数组的共享内存。

Value

Value用于创建共享内存中的基本类型变量,并且可以通过value属性进行读写。以下为一个示例:

import multiprocessing

def func(val):
    val.value += 1
    print(val.value)

if __name__ == '__main__':
    val = multiprocessing.Value('i', 0)
    process1 = multiprocessing.Process(target=func, args=(val,))
    process2 = multiprocessing.Process(target=func, args=(val,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

1
2

这里创建了一个共享变量val,使用了Value对象,并且将类型指定为‘i’,即整型。在进程中,通过val.value可以进行对共享变量的读写。这里创建了两个进程,两个进程都对val进行了5次加1操作,最终输出结果为1、2。

Array

和Value类似,Array也需要指定类型,但可以指定类型为任意数组。以下为一个示例:

import multiprocessing

def func(arr):
    for i in range(len(arr)):
        arr[i] += 1
    print(arr[:])

if __name__ == '__main__':
    arr = multiprocessing.Array('i', [0, 1, 2, 3, 4])
    process1 = multiprocessing.Process(target=func, args=(arr,))
    process2 = multiprocessing.Process(target=func, args=(arr,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

[2, 3, 4, 5, 6]
[3, 4, 5, 6, 7]

这里创建了一个共享数组arr,使用了Array对象,并且将类型指定为‘i’,即整型。在进程中,可以通过arr[:]来进行对共享数组的读写。这里创建了两个进程,两个进程都对arr进行了5次加1操作,最终输出结果为两个进程操作后的arr。

使用Manager类型

Manager类型可以在多进程间共享任意Python对象,包括list、dict、Queue等等,使用Manager需要深入了解Python对象的序列化和反序列化操作。以下为一个示例:

import multiprocessing

def func(d):
    d[1] = 'a'
    print(d)

if __name__ == '__main__':
    manager = multiprocessing.Manager()
    dict_shared = manager.dict()
    dict_shared[0] = 'b'
    process1 = multiprocessing.Process(target=func, args=(dict_shared,))
    process2 = multiprocessing.Process(target=func, args=(dict_shared,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

{0: 'b', 1: 'a'}
{0: 'b', 1: 'a'}

这里创建了一个共享字典dict_shared,使用了Manager对象,Manager对象可以创建一个共享变量,并且可以放进任意Python对象,如字典,字典的读写可以通过[]进行操作。这里同样创建了两个进程,对dict_shared进行读写操作,最终输出2个进程对dict_shared的读写结果。

总结

以上介绍了多进程之间共享数据的两种方法,分别是使用共享内存的方式,或者使用第三方库multiprocessing中提供的Manager类型。根据不同的使用场景,选择不同的方法。共享内存具有读写速度快的优点,但是存在数据不安全的问题;而Manager类型虽然不存在数据不安全问题,但是增加了序列化、反序列化等操作,导致读写速度相对较慢。

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python 进程之间共享数据(全局变量)的方法 - Python技术站

(1)
上一篇 2023年5月19日
下一篇 2023年5月19日

相关文章

  • Python实现用户注册登录程序

    Python 实现用户注册登录程序的攻略需要分为以下几个步骤: 1. 设计数据库 首先需要设计用户信息存储的数据库表。可以使用MySQL,SQLite等关系型数据库或者NoSQL数据库等。 例如,可以创建一个名为 users 的表,其中包含以下字段: id:用户唯一标识符,自增长 username:用户名,字符串类型 email:用户邮箱,字符串类型 pas…

    python 2023年5月23日
    00
  • Python Spyder 调出缩进对齐线的操作

    要在使用Python Spyder时调出缩进对齐线,可以采取以下步骤: 打开Python Spyder软件并创建一个Python文件; 在创建的Python文件中输入代码,并选中该代码; 按下快捷键Ctrl + I,即可将选中的代码缩进对齐,同时出现缩进对齐线。 示例说明1:假设我在Python文件中编写以下代码,但未缩进对齐: if a > 0: b…

    python 2023年6月7日
    00
  • Python测试框架pytest介绍

    Python测试框架pytest介绍 什么是pytest? pytest是Python的一个功能全面的测试框架。它旨在支持和启发Python中的单元测试,功能测试和集成测试等方面,是Python中比较常用的测试框架之一。 安装pytest 我们先来了解下在Python中如何安装和使用pytest。 要安装pytest,可以通过pip来安装: pip inst…

    python 2023年6月3日
    00
  • 聊一聊python常用的编程模块

    当我们开始编写Python代码时,模块是不可或缺的工具。Python模块是一个具有特定功能的Python文件,并且您可以导入这个模块以获得文件中定义的所有函数。但是,Python自带了大量的模块来减少开发时间。在本篇文章中,我们将探讨Python中常用的编程模块。 1. re模块 re模块是Python中的正则表达式模块。正则表达式是一种匹配文本的表达式,它…

    python 2023年5月31日
    00
  • python将dict中的unicode打印成中文实例

    请看下文。 问题描述 Python 中经常会用到 dict 类型,在 dict 中存储的值的类型很多,其中包括字符串类型。在 dict 中保存的字符串类型可能是 unicode 类型的字符串,如果不加处理,那么在输出时,会显示成 unicode 编码的形式,不能正确的显示中文字符串。 例如,当你打印以下的字典时: d = {‘name’: u’张三’, ‘a…

    python 2023年5月31日
    00
  • python添加模块搜索路径方法

    添加模块搜索路径是在Python中很常见的操作,可以让我们很方便地引用自己编写的模块或第三方模块。 下面介绍两种添加模块搜索路径的方法: 方法一:sys.path.append() 在Python中,我们可以使用sys.path来查看当前Python解释器的所有模块搜索路径。我们可以使用sys.path.append()方法来添加自己的模块搜索路径。 imp…

    python 2023年6月3日
    00
  • Python最长公共子串算法实例

    下面是详细讲解“Python最长公共子串算法实例”的完整攻略,包括算法原理、Python实现和两个示例说明。 算法原理 最长公共子串算法是一种用于查找两个字符串中最长公共子串的算法。其主要思想是将两个字符串分别以行和列的形式,然后查找它们的交叉点,找到最长的交叉点序列,即为最长公共子串。最长公共子串算法的实现过程如下: 构建一个二维数组,用于存储两个字符串中…

    python 2023年5月14日
    00
  • python urllib.request模块的使用详解

    Python urllib.request 模块的使用详解 Python 的 urllib.request 模块是 Python 自带的 HTTP 请求库,可以用于发送 HTTP 请求。本文将详细介绍 urllib.request 模块的使用方法。 发送 GET 请求 使用 urllib.request 模块发送 GET 请求非常简单,只需要调用 urlop…

    python 2023年5月15日
    00
合作推广
合作推广
分享本页
返回顶部