Pandas数据分析之批量拆分/合并Excel

下面是《Pandas数据分析之批量拆分/合并Excel》的完整实例教程。

1. 教程背景

在实际的工作中，我们经常需要对Excel表格进行批量拆分或合并操作。这些操作如果手动完成往往比较繁琐，而使用Pandas库可以方便地实现这些操作。本篇教程将介绍如何使用Pandas库对Excel表格进行批量拆分和合并。

2. 批量拆分Excel

假设我们有一个包含多个工作簿的Excel文件，每个工作簿都包含一些数据。现在我们需要将这个Excel文件拆分成多个单独的Excel文件，每个文件包含一个工作簿。我们可以使用Pandas库中的ExcelReader和ExcelWriter来实现这个功能。

首先，我们需要导入Pandas库并创建ExcelReader对象如下：

import pandas as pd

# 创建ExcelReader对象
excel_reader = pd.ExcelFile('multi_workbooks.xlsx')

然后，我们可以使用sheet_names属性获取Excel中所有的工作簿名称：

sheet_names = excel_reader.sheet_names

接下来，我们可以使用循环来逐个拆分工作簿。假设我们将每个工作簿拆分为一个独立的Excel文件，其中文件名为工作簿名称。我们可以使用如下代码来实现：

for sheet_name in sheet_names:
    # 获取工作簿数据
    sheet_data = excel_reader.parse(sheet_name)

    # 创建ExcelWriter对象
    excel_writer = pd.ExcelWriter(sheet_name + '.xlsx')

    # 写入数据到Excel文件中
    sheet_data.to_excel(excel_writer, sheet_name=sheet_name, index=False)

    # 保存并关闭ExcelWriter对象
    excel_writer.save()
    excel_writer.close()

在上述代码中，我们使用parse方法获取指定工作簿的数据，并使用ExcelWriter对象将数据保存到Excel文件中。在保存后需要将ExcelWriter对象关闭。

3. 批量合并Excel

假设我们有多个Excel文件，每个文件都包含一个工作簿，我们需要将这些工作簿合并成一个Excel文件。我们可以使用Pandas库中的concat方法来实现这个功能。

首先，我们需要创建一个空的DataFrame对象：

merged_data = pd.DataFrame()

然后，我们可以使用循环来逐个读取Excel文件数据，将数据添加到merged_data中：

for file_name in file_names:
    # 创建ExcelReader对象
    excel_reader = pd.ExcelFile(file_name)

    # 获取工作簿名称
    sheet_name = excel_reader.sheet_names[0]

    # 获取工作簿数据
    sheet_data = excel_reader.parse(sheet_name)

    # 将工作簿数据添加到merged_data中
    merged_data = pd.concat([merged_data, sheet_data])

在上述代码中，我们使用ExcelReader对象读取Excel数据，获取第一个工作簿名称和工作簿数据，然后将数据添加到merged_data中。

最后，我们可以使用ExcelWriter对象将合并后的数据保存到单个Excel文件中：

# 创建ExcelWriter对象
excel_writer = pd.ExcelWriter('merged_workbooks.xlsx')

# 写入数据到Excel文件中
merged_data.to_excel(excel_writer, sheet_name='merged_data', index=False)

# 保存并关闭ExcelWriter对象
excel_writer.save()
excel_writer.close()

在上述代码中，我们选择将合并后的数据保存到名为"merged_data"的工作簿中，并将Excel文件保存为"merged_workbooks.xlsx"。

4. 示例说明

假设我们有一个名为"multi_workbooks.xlsx"的Excel文件，其中包含三个工作簿："Sheet1"、"Sheet2"和"Sheet3"。我们可以使用第二节中的代码片段将这个Excel文件拆分成三个文件："Sheet1.xlsx"、"Sheet2.xlsx"和"Sheet3.xlsx"。

假设我们将上述三个文件保存在同一个目录下，我们可以使用以下代码将这三个Excel文件合并成一个文件：

import pandas as pd
import glob

file_names = glob.glob("*.xlsx")

merged_data = pd.DataFrame()

for file_name in file_names:
    # 创建ExcelReader对象
    excel_reader = pd.ExcelFile(file_name)

    # 获取工作簿名称
    sheet_name = excel_reader.sheet_names[0]

    # 获取工作簿数据
    sheet_data = excel_reader.parse(sheet_name)

    # 将工作簿数据添加到merged_data中
    merged_data = pd.concat([merged_data, sheet_data])

# 创建ExcelWriter对象
excel_writer = pd.ExcelWriter('merged_workbooks.xlsx')

# 写入数据到Excel文件中
merged_data.to_excel(excel_writer, sheet_name='merged_data', index=False)

# 保存并关闭ExcelWriter对象
excel_writer.save()
excel_writer.close()

在上述代码中，我们使用glob模块和正则表达式获取所有的Excel文件。然后读取每个Excel文件数据，将数据合并到merged_data中。最后将merged_data保存到名为"merged_workbooks.xlsx"的Excel文件中。

另外，值得注意的是，我们在第二节中使用的to_excel方法的一些参数需要注意：sheet_name参数为指定要写入数据的Excel工作表的名字，index参数默认为True，即保存数据后会自动保留行索引（该行索引可能会由于合并各个表后的重复行而重复）,我们在这里将index参数设置为False，即保存数据后不保留行索引。