详解pandas.duplicated()(检测重复值)函数使用方法

pandas.duplicated()是Pandas库中的一个函数,用于查找和标记重复值。它返回一个布尔值的数组,指示每个元素是否为重复项。

使用方法

语法:

pandas.duplicated(subset=None, keep=’first’)

参数:

  • subset: 可选,用于标识重复项的列名或列名列表。默认情况下,它比较整个行。
  • keep: 可选,标记重复项的方式。如果为’first’,表示第一个出现的项不会被标记为重复;如果为’last’,则最后出现的项不会被标记为重复;如果为False,则所有重复项都会标记为True。默认为’first’。

示例1

首先需要导入Pandas库,并读入数据:

import pandas as pd
df = pd.read_csv('data.csv')

我们来看下data.csv数据文件的内容:

ID Name Age
101 John 25
102 Tom 26
103 Mary 25
104 John 25
105 Lucy 28
106 John 25

我们可以看到,其中ID为101的John、ID为104的John、以及ID为106的John出现了重复。

现在我们来使用duplicated()函数查找重复项:

df['Duplicated'] = df.duplicated(['Name', 'Age'], keep=False)

在这里,我们使用duplicated()函数,并将keep参数设置为False,即所有重复项都会被标记为True。我们还将返回的结果存储在一个新列“Duplicated”中。我们使用[‘Name’,‘Age’]来指定要查找重复项的列。

现在我们来查看查找到的重复项:

print(df[df['Duplicated']==True])

输出结果为:

    ID  Name  Age  Duplicated
0  101  John   25        True
3  104  John   25        True
5  106  John   25        True

我们可以看到,三个John的ID被标记为了True。

示例2

现在我们来看另一个示例,假设我们有一个包含学生考试成绩的数据集:

data = {'Name': ['John', 'Mary', 'Tom', 'Lucy', 'John', 'Tom', 'Mary'],
       'Maths': [89, 92, 78, 83, 89, 78, 92],
       'Physics': [92, 94, 87, 80, 92, 87, 94],
       'Chemistry': [85, 83, 82, 79, 85, 82, 83]}
df = pd.DataFrame(data)

我们可以看出,ID为1和5的学生John的考试成绩完全一样,即数学成绩都是89分,物理成绩都是92分,化学成绩都是85分。

现在我们来使用duplicated()函数查找重复项:

df['Duplicated'] = df.duplicated(['Maths', 'Physics', 'Chemistry'], keep=False)

在这里,我们使用duplicated()函数,并将keep参数设置为False,即所有重复项都会被标记为True。我们还将返回的结果存储在一个新列“Duplicated”中。我们使用[‘Maths’,‘Physics’,‘Chemistry’]来指定要查找重复项的列。

现在我们来查看查找到的重复项:

print(df[df['Duplicated']==True])

输出结果为:

     Name  Maths  Physics  Chemistry  Duplicated
0    John     89       92         85        True
4    John     89       92         85        True

我们可以看到,John的ID为1和5的行被标记为了True,因为他们的考试成绩完全一样。这可以帮助我们更轻松地查找并删除重复的数据。

阅读剩余 49%

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:详解pandas.duplicated()(检测重复值)函数使用方法 - Python技术站

(10)
上一篇 2023年3月22日
下一篇 2023年3月22日

相关文章

  • 详解pandas.DataFrame.describe()(计算数据框统计信息)函数使用方法

    pandas.DataFrame.describe()的作用 pandas.DataFrame.describe()函数用于生成数据集的统计描述。它返回给定数据集的主要统计量,例如平均值、标准差、最小值、最大值和四分位数等。该函数的输出格式是一个数据帧(DataFrame),它显示了每个统计量的值以及数据集中的样本数。 使用方法 pandas.DataFra…

    Pandas函数大全 2023年3月22日
    00
  • 详解pandas.Series.str.strip()(去除序列中的字符串空格)函数使用方法

    pandas.Series.str.strip()的作用 pandas.Series.str.strip()是Series对象中的一个方法,用于去除字符串中的空格或特定字符。其作用是去除字符串前后空格以及某些特定字符,包括制表符、回车符、换行符等,并返回去除后的新字符串。 pandas.Series.str.strip()的使用方法 pandas.Serie…

    Pandas函数大全 2023年3月22日
    00
  • 详解pandas.map()(映射数值)函数使用方法

    pandas.map()函数的作用是对Series对象中的每一个元素都应用一个函数,并返回一个新的Series对象,其中新的Series对象的元素是原Series对象元素经过函数处理的结果。 使用方法: pandas.map(function, na_action=None) 参数说明: function:函数类型,对每个元素应用的函数。 na_action…

    Pandas函数大全 2023年3月22日
    00
  • 详解pandas.groupby()(按列分组)函数使用方法

    pandas.groupby()的作用 pandas.groupby()用于按照一定的条件(实际上就是指定一个或多个列)对数据集进行分组,分组后可以对各个分组做一些统计分析,如求和、平均值等。 pandas.groupby()的使用方法 创建数据集 在进行分组操作之前,首先需要创建一个数据集。 例如,创建一个记录销售额的数据集: import pandas …

    Pandas函数大全 2023年3月22日
    00
  • 详解pandas.DataFrame.apply()(应用函数到数据框)函数使用方法

    pandas.DataFrame.apply()是pandas库中的一个函数,用来对DataFrame中的每一列进行操作,并返回一个Series或DataFrame。 函数定义: DataFrame.apply(func, axis=0, broadcast=None, raw=False, reduce=None, result_type=None, ar…

    Pandas函数大全 2023年3月22日
    00
  • 详解pandas.str.strip()(去除字符串空格)函数使用方法

    pandas中的str.strip()是用于删除Series或DataFrame对象中字符串前后的空格或指定字符的方法。下面详细讲解其作用和使用方法,同时提供两个实例进行说明。 作用 在数据处理中,经常会出现字符串前后有空格的情况,使得字符串无法准确匹配。此时,就需要使用strip()方法来删除前后的空格。 同时,strip()方法还能删除前后指定的字符。对…

    Pandas函数大全 2023年3月22日
    00
  • 详解pandas.DataFrame.hist()(绘制数据框直方图)函数使用方法

    pandas.DataFrame.hist()是一个用于绘制DataFrame数据直方图的方法。该方法允许用户通过调整一些参数来生成合适的图表,包括直方图的数量、颜色、样式等。 使用方法: pandas.DataFrame.hist(bins=10, column=None, figsize=None, grid=True, legend=False, …)…

    Pandas函数大全 2023年3月22日
    00
  • 详解pandas.Series.str.extract()(提取序列中的字符串)函数使用方法

    pandas.Series.str.extract()是pandas库中Series类型中的一个方法,主要用于提取符合正则表达式模式的字符串,并返回新的DataFrame类型。它的主要作用是从Series中提取出符合特定模式的字符串,并将其保存到新的列中。 语法 pandas.Series.str.extract(pat) 第一个参数pat是正则表达式,指定…

    Pandas函数大全 2023年3月22日
    00
合作推广
合作推广
分享本页
返回顶部