Python批量将csv文件编码方式转换为UTF-8的实战记录

下面详细讲解“Python批量将csv文件编码方式转换为UTF-8的实战记录”的完整攻略：

前言

CSV是一种常用的数据格式，但是在国际化应用中使用时，常常需要将CSV文件编码为UTF-8，以便更好地在不同操作系统和编程语言之间共享。本文介绍了使用Python批量将CSV文件编码方式转换为UTF-8的实际操作过程。

准备

在开始转换之前，我们需要安装Python编程环境，并安装pandas和chardet库。可以使用pip命令来安装这两个库：

pip install pandas
pip install chardet

代码实现

接下来，我们将使用Python代码实现将CSV文件批量编码为UTF-8的操作。这里我们采用的是pandas库中的read_csv函数，可以自动检测CSV文件的编码方式。

import os
import pandas as pd
import chardet

def convert_encoding(file_path, file_encoding):
    try:
        # 读取文件
        with open(file_path, 'rb') as f:
            data = f.read()
            # 检测文件编码方式
            file_encoding = chardet.detect(data)['encoding']
        # 重新编码文件
        if file_encoding != 'utf-8':
            df = pd.read_csv(file_path, sep=None, encoding=file_encoding, engine='python')
            df.to_csv(file_path, sep=',', encoding='utf-8', index=False)
    except Exception as e:
        print('Error:', e)

def encoding_transform(folder_path, file_ext):
    # 遍历文件夹下所有文件
    for file_name in os.listdir(folder_path):
        file_path = os.path.join(folder_path, file_name)
        # 如果是csv文件
        if os.path.isfile(file_path) and os.path.splitext(file_path)[1] == '.' + file_ext:
            convert_encoding(file_path, 'utf-8')

if __name__ == '__main__':
    # 将文件夹中所有的csv文件编码为utf-8
    encoding_transform('/path/to/folder', 'csv')

示例说明

下面给出两个示例说明：

示例一

我们手头有一个文件夹/data，里面有两个csv文件（encoding.csv和not-encoding.csv）。其中encoding.csv的编码方式为UTF-8，而not-encoding.csv的编码方式为GB2312。我们需要将/data文件夹下的所有csv文件编码为UTF-8。那么我们可以使用以下代码：

encoding_transform('/path/to/folder', 'csv')

注意在代码中将/path/to/folder替换为/data的路径。

示例二

我们手头又有一个文件夹/data2，里面有三个csv文件（test1.csv、test2.csv、test3.csv）。这三个文件都是UTF-8编码的，但是它们的分隔符都不同，一个是逗号，一个是制表符，一个是分号。我们需要将这三个文件的分隔符转换为逗号，并将它们编码为UTF-8。那么我们可以使用以下代码：

for file_name in ['test1.csv', 'test2.csv', 'test3.csv']:
    file_path = os.path.join('/path/to/folder2', file_name)
    df = pd.read_csv(file_path, sep=';', encoding='utf-8', engine='python')
    df.to_csv(file_path, sep=',', encoding='utf-8', index=False)

注意在代码中将/path/to/folder2替换为/data2的路径。此外，我们还需要根据实际情况调整read_csv函数和to_csv函数中的参数。为了避免出现问题，建议在使用该代码前备份所有相关的CSV文件。