Python 进程之间共享数据(全局变量)的方法

实现多进程之间的数据共享,可以通过使用共享内存的方式,或者使用第三方库multiprocessing中提供的Manager类型,下面分别进行详细的介绍。

使用共享内存

使用共享内存的方式,需要使用multiprocessing中提供的Value、Array对象。Value用于基本类型的共享内存,而Array用于数组的共享内存。

Value

Value用于创建共享内存中的基本类型变量,并且可以通过value属性进行读写。以下为一个示例:

import multiprocessing

def func(val):
    val.value += 1
    print(val.value)

if __name__ == '__main__':
    val = multiprocessing.Value('i', 0)
    process1 = multiprocessing.Process(target=func, args=(val,))
    process2 = multiprocessing.Process(target=func, args=(val,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

1
2

这里创建了一个共享变量val,使用了Value对象,并且将类型指定为‘i’,即整型。在进程中,通过val.value可以进行对共享变量的读写。这里创建了两个进程,两个进程都对val进行了5次加1操作,最终输出结果为1、2。

Array

和Value类似,Array也需要指定类型,但可以指定类型为任意数组。以下为一个示例:

import multiprocessing

def func(arr):
    for i in range(len(arr)):
        arr[i] += 1
    print(arr[:])

if __name__ == '__main__':
    arr = multiprocessing.Array('i', [0, 1, 2, 3, 4])
    process1 = multiprocessing.Process(target=func, args=(arr,))
    process2 = multiprocessing.Process(target=func, args=(arr,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

[2, 3, 4, 5, 6]
[3, 4, 5, 6, 7]

这里创建了一个共享数组arr,使用了Array对象,并且将类型指定为‘i’,即整型。在进程中,可以通过arr[:]来进行对共享数组的读写。这里创建了两个进程,两个进程都对arr进行了5次加1操作,最终输出结果为两个进程操作后的arr。

使用Manager类型

Manager类型可以在多进程间共享任意Python对象,包括list、dict、Queue等等,使用Manager需要深入了解Python对象的序列化和反序列化操作。以下为一个示例:

import multiprocessing

def func(d):
    d[1] = 'a'
    print(d)

if __name__ == '__main__':
    manager = multiprocessing.Manager()
    dict_shared = manager.dict()
    dict_shared[0] = 'b'
    process1 = multiprocessing.Process(target=func, args=(dict_shared,))
    process2 = multiprocessing.Process(target=func, args=(dict_shared,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

{0: 'b', 1: 'a'}
{0: 'b', 1: 'a'}

这里创建了一个共享字典dict_shared,使用了Manager对象,Manager对象可以创建一个共享变量,并且可以放进任意Python对象,如字典,字典的读写可以通过[]进行操作。这里同样创建了两个进程,对dict_shared进行读写操作,最终输出2个进程对dict_shared的读写结果。

总结

以上介绍了多进程之间共享数据的两种方法,分别是使用共享内存的方式,或者使用第三方库multiprocessing中提供的Manager类型。根据不同的使用场景,选择不同的方法。共享内存具有读写速度快的优点,但是存在数据不安全的问题;而Manager类型虽然不存在数据不安全问题,但是增加了序列化、反序列化等操作,导致读写速度相对较慢。

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python 进程之间共享数据(全局变量)的方法 - Python技术站

(1)
上一篇 2023年5月19日
下一篇 2023年5月19日

相关文章

  • Python 异步之如何保护任务免于取消详解

    在Python中,异步编程是一种高效的编程方式,可以提高程序的性能和响应速度。但是,在异步编程中,任务可能会被取消,这会导致程序出现异常。本文将详细介绍如何护任务免于取消的方法,并提两个示例说明。 1. 任务取消的问题 在异步编程中,任务可能会被取消,这会导致程序出现异常。例如,当一个任务正在执行时,用户可能会取消该任务,这会导致程序出现异常。为了避免这种情…

    python 2023年5月14日
    00
  • Python中Selenium库使用教程详解

    Python中Selenium库使用教程详解 Selenium是一个自动化测试工具,可以模拟用户在浏览器中的操作,例如点击、输入、提交等。本文将详细介绍如何在Python中使用Selenium库,包括安装、配置、基本用法和示例。 安装Selenium库 在使用Selenium之前,需要先安装Selenium库。可以使用pip命令来安装Selenium库: p…

    python 2023年5月15日
    00
  • Python中列表元素转为数字的方法分析

    针对“Python中列表元素转为数字的方法分析”这个主题,我会提供如下攻略: 一、前言 Python中的列表(list)是一种常见的容器类型,也是我们经常用到的数据类型之一。而在列表中,元素的数据类型可能有很多种,如字符串、浮点数、整数等。有时候,我们需要将这些元素转换成数字类型,以方便进行数字计算等操作。 二、使用内置函数map Python中有一个内置函…

    python 2023年6月5日
    00
  • Python time模块详解(常用函数实例讲解,非常好)

    Pythontime模块详解(常用函数实例讲解) 了解time模块 time模块是python标准库中的一个模块,用于处理和表示时间。它提供了各种操作时间和日期的函数,包括获取当前时间、将时间格式化为字符串、获取时间戳、睡眠等待、计算时间差等功能。 常用时间函数 1. 获取当前时间 可以使用time模块的time()函数获取当前系统时间的时间戳,用于记录和计…

    python 2023年5月14日
    00
  • Python – 请求提取 HTML 而不是 JSON – 2020 版

    【问题标题】:Python – Requests pulling HTML instead of JSON – 2020 editionPython – 请求提取 HTML 而不是 JSON – 2020 版 【发布时间】:2023-04-04 18:20:01 【问题描述】: 我想通过请求的内置 json 解析器从银行的公共 API 服务中提取一些汇率值。…

    Python开发 2023年4月6日
    00
  • 基于Python socket实现简易网络聊天室

    下面是基于Python socket实现简易网络聊天室的完整攻略。 步骤一:实现基本的客户端和服务端 首先我们需要实现简单的客户端和服务端,可以让客户端发送消息给服务端,并让服务端把消息广播给所有的客户端。 客户端 import socket import threading IP = ‘127.0.0.1’ PORT = 1234 def send_mes…

    python 2023年6月6日
    00
  • Python中拆分具有多个分隔符的字符串方法实例

    以下是“Python中拆分具有多个分隔符的字符串方法实例”的完整攻略: 一、问题描述 在Python中,我们经常需要拆分字符串。有时候,字符串中可能包含多个分隔符,我们需要使用多个分隔符来拆分字符串。本文将详细讲解如何使用Python中的方法来拆分具有多个分隔符的字符串。 二、解决方案 2.1 使用re.split()方法 re.split()方法是Pyth…

    python 2023年5月14日
    00
  • 解决python3 安装不了PIL的问题

    下面是详细的攻略: 问题描述 在使用Python3安装PIL库(Python Imaging Library)时,可能会遇到无法安装的情况。这是因为PIL库只支持Python2,不支持Python3。 解决方案 要解决这个问题,我们需要安装一个名为Pillow的库,它是PIL的分支,支持Python3。 下面是具体的步骤: 步骤1:卸载旧版本的PIL库 如果…

    python 2023年5月20日
    00
合作推广
合作推广
分享本页
返回顶部