Python实现求两个csv文件交集的方法

下面是Python实现求两个csv文件交集的完整攻略。

准备工作

在开始写代码之前，我们需要做一些准备工作。首先，我们需要导入Python的csv模块，它能够很容易地读取和处理csv文件。其次，我们需要安装pandas这个强大的数据分析库，它提供了大量用于数据处理和分析的工具。我们可以使用pip命令进行安装：

pip install pandas

操作步骤

1. 加载csv文件

假设我们有两个csv文件叫"file1.csv"和"file2.csv"，我们可以使用pandas的read_csv函数，把它们读取进来，存储成两个dataframe对象。

import pandas as pd

df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')

1. 按照某个字段对两个dataframe进行合并

我们需要先确定一个共同的字段，然后以此作为凭据合并两个dataframe。如果两个csv文件中的共同字段名称不同，我们可以使用pandas的rename函数将其重命名成相同的名称。

df = pd.merge(df1, df2, on='共同字段名称')

1. 对合并后的dataframe进行去重操作

我们可以使用pandas的drop_duplicates函数，对合并后的dataframe进行去重操作。

df = df.drop_duplicates(subset='共同字段名称', keep='first')

最终得到的df就是两个csv文件的交集了。

示例

假设我们有两个csv文件，分别是"file1.csv"和"file2.csv"，以"姓名"作为共同字段。下面是两个文件的内容：

file1.csv

姓名,年龄,性别,城市
张三,20,男,北京
李四,23,女,上海
王五,25,男,广州
赵六,22,女,深圳

file2.csv

姓名,年龄,性别,城市
张三,21,男,北京
李四,23,女,上海
钱七,24,男,天津
孙八,26,女,武汉

下面是Python实现求两个csv文件交集的示例代码：

import pandas as pd

# 加载csv文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')

# 按照"姓名"字段进行合并
df = pd.merge(df1, df2, on='姓名')

# 对合并后的dataframe进行去重操作
df = df.drop_duplicates(subset='姓名', keep='first')

# 打印结果
print(df)

输出结果：

   姓名  年龄_x 性别_x 城市_x  年龄_y 性别_y 城市_y
0  张三    20    男   北京    21    男   北京
1  李四    23    女   上海    23    女   上海

可以看到，最终得到的dataframe只包含两个文件中共有的"张三"和"李四"两行数据。

另外，如果我们想要得到两个文件的并集，只需要把合并的方式改成"outer"，如下所示：

import pandas as pd

# 加载csv文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')

# 按照"姓名"字段进行合并
df = pd.merge(df1, df2, on='姓名', how='outer')

# 对合并后的dataframe进行去重操作
df = df.drop_duplicates(subset='姓名', keep='first')

# 打印结果
print(df)

输出结果：

   姓名  年龄_x 性别_x 城市_x  年龄_y 性别_y  城市_y
0  张三  20.0    男   北京  21.0    男    北京
1  李四  23.0    女   上海  23.0    女    上海
2  王五  25.0    男   广州   NaN  NaN   NaN
3  赵六  22.0    女   深圳   NaN  NaN   NaN
4  钱七   NaN  NaN  NaN  24.0    男    天津
5  孙八   NaN  NaN  NaN  26.0    女    武汉

可以看到，最终得到的dataframe包含了两个文件的所有数据，并且用NaN填充了不存在的数据。