Python批量处理csv并保存过程解析

那我就来为你详细讲解一下“Python批量处理csv并保存过程解析”的完整攻略。

一、前言

在数据分析工作中，我们经常会遇到需要处理大量csv文件的情况。手动打开每个文件进行分析和后续处理是非常耗时费力的。因此，我们可以使用Python编写一些脚本来实现自动批量处理csv文件的操作，提高工作效率。

二、代码实现

2.1 基本流程

下面是一个基本的批量处理csv文件的流程：

1. 获取待处理csv文件的路径
2. 遍历csv文件所在的目录，获取所有csv文件的文件名
3. 循环遍历每个csv文件，读取数据，进行处理
4. 将处理后的数据保存到新的csv文件中

2.2 代码示例1：批量修改csv文件并保存

下面是一个示例，演示如何批量修改csv文件并保存到新文件中。

import os
import pandas as pd

# 获取待处理csv文件路径
csv_dir = "./data/"

# 遍历csv文件所在目录，获取所有csv文件的文件名
csv_files = os.listdir(csv_dir)

# 循环遍历每个csv文件，读取数据，进行处理
for file_name in csv_files:
    if file_name.endswith(".csv"):
        file_path = os.path.join(csv_dir, file_name)
        # 读取csv文件
        df = pd.read_csv(file_path)
        # 修改数据
        df["新列名"] = df["旧列名"] * 2
        # 将修改后的数据保存到新的csv文件中
        new_file_name = file_name.split(".")[0] + "_new.csv"
        df.to_csv(new_file_name, index=False)

上述示例代码中，我们通过os.listdir()函数获取指定目录下的所有文件名，将以.csv结尾的文件名保存到csv_files列表中。然后循环遍历每个csv文件，读取其数据，对数据进行处理，最终将处理后的数据保存到新的csv文件中，新文件名为原文件名去掉.csv后加上_new.csv后缀。

2.3 代码示例2：批量合并多个csv文件

下面是一个示例，演示如何批量合并多个csv文件。

import os
import pandas as pd

# 获取待处理csv文件路径
csv_dir = "./data/"

# 遍历csv文件所在目录，获取所有csv文件的文件名
csv_files = os.listdir(csv_dir)

# 初始化一个空DataFrame，用于存放所有csv文件中的数据
merged_df = pd.DataFrame()

# 循环遍历每个csv文件，读取数据，进行合并处理
for file_name in csv_files:
    if file_name.endswith(".csv"):
        file_path = os.path.join(csv_dir, file_name)
        # 读取csv文件
        df = pd.read_csv(file_path)
        # 将读取到的数据添加到merged_df中
        merged_df = merged_df.append(df)

# 将合并后的数据保存到新的csv文件中
merged_file_name = "merged_file.csv"
merged_df.to_csv(merged_file_name, index=False)

上述示例代码中，我们通过os.listdir()函数获取指定目录下的所有文件名，将以.csv结尾的文件名保存到csv_files列表中。然后循环遍历每个csv文件，读取其数据，将读取到的数据添加到一个空的DataFrame中，最后将合并后的数据保存到新的csv文件中。注意，如果多个csv文件中的列名不一致，那么合并后的数据将会出现多列，需要手动删除重复列。

三、总结

本文通过两个示例讲解了Python如何实现自动批量处理csv文件的操作。希望可以帮助到需要处理大量csv文件的数据分析人员。