python merge、concat合并数据集的实例讲解

Python中的Merge和Concat操作

在Python中，我们可以使用pandas库中的merge()和concat()函数来合并数据集，这两个函数在数据处理中非常有用，可以帮助我们处理不同条件下的数据合并问题。

Merge

什么是Merge

在数据分析中，我们常常需要合并两个不同的表格。在数据库中，这是通过join操作实现的。在pandas中，我们可以使用merge()函数完成类似的操作。

merge()函数将两个数据集连接在一起，并根据一个或多个键将它们进行匹配。这里的“键”是指表格中的一个或多个列，它们可以在两个表格之间进行对齐。这样，我们就可以将两个表格中的信息组合到一起。

Merge的使用

下面，我们来看一个使用merge()函数的例子。

假设我们有两张员工信息的表格，分别是employee和department，表格中的主键是employee_id和department_id，我们要将这两张表格按照主键合并。

import pandas as pd

employee = pd.DataFrame({
    'employee_id': ['1', '2', '3', '4'],
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'department_id': ['101', '102', '101', '103']
})
department = pd.DataFrame({
    'department_id': ['101', '102', '103', '104'],
    'department_name': ['HR', 'R&D', 'Sales', 'Marketing']
})

result = pd.merge(employee, department, on='department_id')
print(result)

上述代码中，我们使用pd.DataFrame()函数创建了两张表格，并在表格中增加了数据。然后我们使用pd.merge()函数将这两张表格按照department_id列进行合并，并将结果保存到result变量中。最后，我们打印出了结果。

输出如下：

  employee_id      name department_id department_name
0           1     Alice           101              HR
1           3   Charlie           101              HR
2           2       Bob           102             R&D
3           4     David           103           Sales

从输出结果可以看出，我们成功地将两张表格按照主键进行了合并。

除了on=参数之外，还可以使用left_on=和right_on=参数或left_index=和right_index=参数，来指定两个表格中的匹配列。

Concat

什么是Concat

除了merge()函数，我们还可以使用concat()函数来按行或按列将多个数据集连接在一起。这些数据集可以是相同的数据集的不同部分，也可以是不同的数据集。

Concat的使用

下面，我们来看一个使用concat()函数的例子。

假设我们有两个数据集：df1和df2，我们要将它们合并成一个数据集。

import pandas as pd

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                    'B': ['B0', 'B1', 'B2', 'B3'],
                    'C': ['C0', 'C1', 'C2', 'C3'],
                    'D': ['D0', 'D1', 'D2', 'D3']})

df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
                    'B': ['B4', 'B5', 'B6', 'B7'],
                    'C': ['C4', 'C5', 'C6', 'C7'],
                    'D': ['D4', 'D5', 'D6', 'D7']})

result = pd.concat([df1, df2])
print(result)

上述代码中，我们使用pd.DataFrame()函数创建了两个数据集，并在数据集中增加了数据。然后我们使用pd.concat()函数将这两个数据集按行进行合并，并将结果保存到result变量中。最后，我们打印出了结果。

输出如下：

    A   B   C   D
0  A0  B0  C0  D0
1  A1  B1  C1  D1
2  A2  B2  C2  D2
3  A3  B3  C3  D3
0  A4  B4  C4  D4
1  A5  B5  C5  D5
2  A6  B6  C6  D6
3  A7  B7  C7  D7

从输出结果可以看出，我们成功地将两个数据集按行进行了合并。

除了按行进行合并以外，我们还可以使用pd.concat()函数按列进行合并。使用方法如下：

result = pd.concat([df1, df2], axis=1)
print(result)

输出如下：

    A   B   C   D   A   B   C   D
0  A0  B0  C0  D0  A4  B4  C4  D4
1  A1  B1  C1  D1  A5  B5  C5  D5
2  A2  B2  C2  D2  A6  B6  C6  D6
3  A3  B3  C3  D3  A7  B7  C7  D7

从输出结果可以看出，我们成功地将两个数据集按列进行了合并。

结语

以上就是Python中的merge()和concat()函数的使用方法。在数据处理中，这两个函数非常重要，能够帮助我们解决很多数据合并的问题。