Python自动化办公之清理重复文件详解

背景

在日常生活和办公中，随着电脑使用的频繁，文件的数量也会不断地增加，会出现大量的重复文件，这不仅占用磁盘空间，而且也浪费了我们的时间。因此，如何快速地找到重复文件并进行删除，成为了我们需要考虑的事情。

本文将详细介绍如何使用Python自动化处理重复文件。

方案

1. 计算文件的hash值

我们可以通过计算文件的hash值来判断两个文件是否相同。在Python中，使用hashlib库可以方便地计算出文件的md5值、sha1值、sha256值等。

以下代码是一个示例，通过计算文件的md5值进行文件比较：

import hashlib
import os

def cal_md5(file_path):
    md5_obj = hashlib.md5()
    with open(file_path, 'rb') as f:
        while True:
            data = f.read(4096)
            if not data:
                break
            md5_obj.update(data)
    md5_value = md5_obj.hexdigest()
    return md5_value

def find_duplicate_files(folder_path):
    ret = {}
    for root, dirs, files in os.walk(folder_path):
        for file_name in files:
            file_path = os.path.join(root, file_name)
            file_md5 = cal_md5(file_path)
            if file_md5 not in ret:
                ret[file_md5] = []
            ret[file_md5].append(file_path)
    return ret

if __name__ == '__main__':
    folder_path = r'C:\Users\Administrator\Desktop\TestFolder'
    duplicate_files = find_duplicate_files(folder_path)
    for md5, file_list in duplicate_files.items():
        if len(file_list) > 1:
            print(f'找到重复文件，md5值为{md5}，文件列表为：')
            for file_path in file_list:
                print(file_path)

该脚本接收一个文件夹路径作为参数，然后遍历该文件夹下的所有文件，计算出每个文件的md5值，并且通过字典记录下来，如果md5值重复，则表示文件重复。最后输出所有重复文件的路径。

2. 根据文件名和文件类型进行文件比较

除了计算文件的hash值来判断文件是否重复，还可以通过比较文件名和文件类型来判断文件是否相同。以下代码是一个示例，通过比较文件名和文件类型进行文件比较：

import os

def find_duplicate_files_by_name_type(folder_path):
    ret = {}
    for root, dirs, files in os.walk(folder_path):
        for file_name in files:
            file_path = os.path.join(root, file_name)
            file_size = os.path.getsize(file_path)
            file_ext = os.path.splitext(file_name)[1]
            file_key = f'{file_name}_{file_size}{file_ext}'
            if file_key not in ret:
                ret[file_key] = []
            ret[file_key].append(file_path)
    return ret

if __name__ == '__main__':
    folder_path = r'C:\Users\Administrator\Desktop\TestFolder'
    duplicate_files = find_duplicate_files_by_name_type(folder_path)
    for key, file_list in duplicate_files.items():
        if len(file_list) > 1:
            print(f'找到重复文件，名称类型为{key}，文件列表为：')
            for file_path in file_list:
                print(file_path)

该脚本接收一个文件夹路径作为参数，然后遍历该文件夹下的所有文件，根据文件名、文件大小和文件类型组成一个字符串作为唯一标识，通过字典记录下来，如果标识重复，则表示文件重复。最后输出所有重复文件的路径。

总结

本文介绍了计算文件的hash值和根据文件名和文件类型进行文件比较两种方案，这两种方案应根据实际情况选择。其中计算文件的hash值的方案更加严谨，但是在文件数量较大时，计算hash值所需的时间也会变长。而根据文件名和文件类型进行文件比较的方案则更加快速，但相比于计算hash值，更容易出现误判。

如果您需要处理大量的重复文件，建议使用计算文件的hash值的方案。