【发布时间】：2023-04-07 19:42:01
【问题描述】：
我有一个文件列表，我需要通过 lambda 函数从 S3 存储桶访问和处理这些文件，我的想法是遍历每个文件并从所有文件中并行收集数据。我的第一个想法是使用线程，这导致了一个问题，只允许我的最大池大小为 10，而我正在处理许多文件。我希望能够连续追加进程，直到所有文件都被访问，而不是创建进程列表然后并行运行它们，这在多处理池中似乎就是这种情况。如有任何建议，我将不胜感激。
【问题讨论】：
标签：
python
python-3.x
amazon-web-services
amazon-s3
parallel-processing
本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：在 Python 中并行处理 AWS S3 数据 - Python技术站
微信扫一扫 
支付宝扫一扫 