【问题标题】：Parallel Processing AWS S3 Data in Python在 Python 中并行处理 AWS S3 数据
【发布时间】：2023-04-07 19:42:01
【问题描述】：

我有一个文件列表，我需要通过 lambda 函数从 S3 存储桶访问和处理这些文件，我的想法是遍历每个文件并从所有文件中并行收集数据。我的第一个想法是使用线程，这导致了一个问题，只允许我的最大池大小为 10，而我正在处理许多文件。我希望能够连续追加进程，直到所有文件都被访问，而不是创建进程列表然后并行运行它们，这在多处理池中似乎就是这种情况。如有任何建议，我将不胜感激。

【问题讨论】：

    标签：
    python
    python-3.x
    amazon-web-services
    amazon-s3
    parallel-processing