Python基础之pandas数据合并

Pandas是Python中常用的数据处理和分析库，它提供了丰富的数据结构和数据处理方法。当处理数据时，常常需要将多个数据集合并成一个，这时就需要使用pandas的数据合并功能。

数据合并的基本方法

Pandas中的数据合并主要有三种方法：concat、merge和join。

• concat方法：用于在行或列的维度上合并数据。
• merge方法：用于基于一个或多个键（即列）将不同的DataFrame连接起来。
• join方法：是merge方法的一种特殊形式，用于按照索引连接数据。

concat方法

concat方法用于在行或列的维度上合并数据。它主要有以下用法：

1. 在行上合并两个DataFrame：

python
pd.concat([df1, df2])

这时要求df1和df2的列名必须相同。

1. 在列上合并两个DataFrame：

python
pd.concat([df1, df2], axis=1)

这时要求df1和df2的行数必须相同。

示例：

import pandas as pd

df1 = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
df2 = pd.DataFrame({'A': [4, 5, 6], 'B': [7, 8, 9]})
df_concat = pd.concat([df1, df2])

print(df1)
print(df2)
print(df_concat)

输出结果：

   A  B
0  1  4
1  2  5
2  3  6
   A  B
0  4  7
1  5  8
2  6  9
   A  B
0  1  4
1  2  5
2  3  6
0  4  7
1  5  8
2  6  9

merge方法

merge方法是基于一个或多个键（即列）将不同的DataFrame连接起来。

merge方法的语法如下：

pd.merge(left, right, how='inner', on=None, ...)

• left和right是要合并的两个DataFrame。
• how指定了连接方式，包括inner、outer、left、right。
• on指定了连接的键。

示例：

import pandas as pd

df1 = pd.DataFrame({'key': ['A', 'B', 'C', 'D'], 'value': [1, 2, 3, 4]})
df2 = pd.DataFrame({'key': ['B', 'D', 'E', 'F'], 'value': [5, 6, 7, 8]})
df_merge = pd.merge(df1, df2, on='key', how='outer')

print(df1)
print(df2)
print(df_merge)

输出结果：

  key  value
0   A      1
1   B      2
2   C      3
3   D      4
  key  value
0   B      5
1   D      6
2   E      7
3   F      8
  key  value_x  value_y
0   A      1.0      NaN
1   B      2.0      5.0
2   C      3.0      NaN
3   D      4.0      6.0
4   E      NaN      7.0
5   F      NaN      8.0

在这个例子中，我们使用merge方法将df1和df2按照key列进行了外连接（即保留了所有的行）。merge方法按照key列将df1和df2中的行连接起来，将df1的value列和df2的value列设置成了value_x和value_y列，分别保存了两个DataFrame中value列的值。

join方法

join方法是merge方法的一种特殊形式，它是按照索引连接数据。join方法的语法如下：

left.join(right, how='left', lsuffix='_left', rsuffix='_right')

• left和right是要合并的两个DataFrame。
• how指定了连接方式，包括inner、outer、left、right。
• lsuffix和rsuffix分别指定左右DataFrame中列名相同时，保留的左右DataFrame的后缀。

示例：

import pandas as pd

df1 = pd.DataFrame({'value1': [1, 2, 3], 'value2': [4, 5, 6]}, index=['A', 'B', 'C'])
df2 = pd.DataFrame({'value3': [7, 8, 9], 'value4': [10, 11, 12]}, index=['B', 'C', 'D'])
df_join = df1.join(df2, how='outer', lsuffix='_left')

print(df1)
print(df2)
print(df_join)

输出结果：

   value1  value2
A       1       4
B       2       5
C       3       6
   value3  value4
B       7      10
C       8      11
D       9      12
   value1  value2  value3  value4
A     1.0     4.0     NaN     NaN
B     2.0     5.0     7.0    10.0
C     3.0     6.0     8.0    11.0
D     NaN     NaN     9.0    12.0

在这个例子中，我们使用join方法将df1和df2按照它们的索引进行了外连接（即保留了所有的行）。join方法将df1和df2合并到了一起，并将值放在同一行之下。值的缺失是用NaN填充的。

小结

Pandas中的数据合并包括concat、merge和join三种方法。这些方法可以让我们轻松地合并不同的DataFrame，并在需要时将它们进行排列和组合。要在pandas中合并DataFrame，请注意将列对齐，指定合并方式、键和后缀等参数。