对python列表里的字典元素去重方法详解

下面是“对Python列表里的字典元素去重方法详解”的完整攻略。

简介

在Python中，列表是常见的数据类型之一，而字典是另一种常用的数据类型。有时，我们需要将列表中的字典元素去重，本篇文章就为大家讲述几种方法来实现。

方法一：利用 set 和 frozenset

首先我们可以将列表中的字典元素转为不可变的集合（frozenset），然后再使用set去重。具体的操作如下：

lst = [{'a': 1, 'b': 2}, {'a': 1, 'b': 2}, {'a': 3, 'b': 4}]
new_lst = []
for item in lst:
    new_lst.append(frozenset(item.items()))
new_lst = [dict(x) for x in set(tuple(x) for x in new_lst)]
print(new_lst)

这段代码将原列表中的字典元素转为了不可变集合（frozenset），然后使用了set的去重功能。输出结果为：[{'a': 3, 'b': 4}, {'a': 1, 'b': 2}]。

方法二：利用字典的 setdefault() 方法

还有一种方法是，我们可以利用字典的 setdefault() 方法来实现。具体的操作如下：

lst = [{'a': 1, 'b': 2}, {'a': 1, 'b': 2}, {'a': 3, 'b': 4}]
new_lst = []
for item in lst:
    d = {}
    for key, value in item.items():
        d.setdefault(key, value)
    new_lst.append(d)
new_lst = [dict(x) for x in set(tuple(x.items()) for x in new_lst)]
print(new_lst)

这段代码首先遍历原列表中的字典元素，利用 setdefault() 方法来构建新的不重复的字典，然后再使用set去重。输出结果同上。

示例说明

现在我们假设有一个列表，其中包含了多个字典，这些字典元素可能会有重复的部分，我们需要将它们去重。

lst = [{'id': 1, 'name': 'Jack', 'age': 23},
       {'id': 2, 'name': 'Tom', 'age': 25},
       {'id': 1, 'name': 'Jack', 'age': 23},
       {'id': 3, 'name': 'Alice', 'age': 22},
       {'id': 2, 'name': 'Tom', 'age': 25}]

使用方法一和方法二进行去重，得到的去重后的结果均为：

[{'id': 3, 'name': 'Alice', 'age': 22},
 {'id': 1, 'name': 'Jack', 'age': 23},
 {'id': 2, 'name': 'Tom', 'age': 25}]

经过去重后，我们得到了不含重复元素的列表。这种方法在数据处理中经常使用到，对于列表中的不可哈希类型（如字典）而言特别适用。