Python实现清理重复文件功能的示例代码

下面我就来详细讲解一下“Python实现清理重复文件功能的示例代码”的完整攻略。

1. 核心思路

清理重复文件的核心思路是通过比对文件内容是否相同来判断文件是否重复，如果文件内容相同，则只保留其中一个文件，其他重复的文件都可以删除。

所以我们需要先将文件按照文件内容的 hash 值进行分组，每个分组中的文件 hash 值相同。然后在每个分组中将除第一个文件之外的其他文件全部删除。

常用的 hash 函数有 MD5、SHA-1、SHA-256 等，它们都可以对任意长度的数据进行哈希计算，并且输出固定长度的哈希值。在将文件内容进行哈希计算时，我们需要读取文件内容并将其传入 hash 函数中计算。

2. 示例代码说明

示例代码中的 dedup_dir 函数可以实现清理目录中重复文件的功能，具体的步骤如下：

1. 获取目录中所有可读取的文件列表；
2. 遍历文件列表，对每个文件计算 hash 值，并将文件插入到哈希表中对应的 hash 值的列表中；
3. 遍历哈希表，对每个 hash 值对应的文件列表进行处理：
4. 如果列表长度大于 1，表示存在重复文件，删除除第一个文件之外的其他文件；
5. 如果列表长度等于 1，表示没有重复文件，跳过处理；
6. 处理完成后，删除哈希表。

下面是在代码中的实现方式：

import os
import hashlib

def hash_file(filename):
    """计算文件的 MD5 值"""
    hasher = hashlib.md5()
    with open(filename, 'rb') as f:
        buf = f.read()
        hasher.update(buf)
    return hasher.hexdigest()

def dedup_dir(directory):
    """清理指定目录中的重复文件"""
    # 1. 获取目录中所有可读取的文件列表
    file_list = [os.path.join(dirname, filename)
                 for dirname, _, files in os.walk(directory)
                 for filename in files
                 if os.access(os.path.join(dirname, filename), os.R_OK)]
    # 2. 遍历文件列表，对每个文件计算 hash 值，并将文件插入到哈希表中对应的 hash 值的列表中
    file_dict = {}
    for filename in file_list:
        file_hash = hash_file(filename)
        if file_hash in file_dict:
            file_dict[file_hash].append(filename)
        else:
            file_dict[file_hash] = [filename]
    # 3. 遍历哈希表，对每个 hash 值对应的文件列表进行处理
    for file_hash, files in file_dict.items():
        if len(files) > 1:
            # 如果列表长度大于 1，表示存在重复文件，删除除第一个文件之外的其他文件
            print(f'重复文件（hash={file_hash}）：')
            for i, filename in enumerate(files):
                if i == 0:
                    print(f'  * {filename}')
                else:
                    print(f'  - {filename}')
                    os.remove(filename)
        else:
            # 如果列表长度等于 1，表示没有重复文件，跳过处理
            pass
    # 4. 处理完成后，删除哈希表
    del file_dict

我们可以通过调用 dedup_dir 函数来清理指定目录中的重复文件。例如：

dedup_dir('/tmp/test')

上述代码会清理 /tmp/test 目录中的重复文件。

3. 总结

本文介绍了清理重复文件的核心思路，并提供了 Python 实现示例代码。我们可以通过使用哈希算法，将文件按内容进行分组，并删除重复的文件，从而有效地清理磁盘空间。