解决pandas read_csv 读取中文列标题文件报错的问题

当我们使用Pandas的read_csv方法读取包含中文列标题的csv文件时，有时会遇到报错的问题。针对这个问题，本文提供一些解决方法。

问题描述

当我们使用以下代码尝试读取包含中文列标题的csv文件时：

df = pd.read_csv('filename.csv', encoding='utf-8')

有时会遇到以下报错：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb4 in position 0: invalid start byte

或者

ParserError: Error tokenizing data. C error: Expected X fields in line Y, saw Z

这是因为Pandas默认使用'utf-8'编码来读取csv文件，而在某些情况下，文件中的列标题是使用其它编码方式存储的，导致读取时出现错误。

解决方法

解决这个问题的方法有两种：一种是手动指定文件编码方式；另一种则是使用read_csv的参数header改变读取的原始数据。

方法一：手动指定文件编码方式

我们可以使用Python自带的chardet库检测文件的编码方式，并手动将编码方式指定为正确的方式来读取文件。代码示例：

import chardet
import pandas as pd

# 使用chardet检测文件编码方式
with open('filename.csv', 'rb') as f:
    result = chardet.detect(f.read())

# 手动指定文件编码方式进行读取
df = pd.read_csv('filename.csv', encoding=result['encoding'])

方法二：使用read_csv的参数header改变读取的原始数据

我们可以通过传递参数修改读取csv文件的配置，使得Pandas能够正确读取列名。具体的，我们可以采用如下参数变换：

强制使用pandas默认的utf-8编码方式来打开文件
将第一行作为列名读取到dataframe中

代码示例：

import pandas as pd

# 使用read_csv的参数header修改读取配置
df = pd.read_csv('filename.csv', encoding='utf-8', header=0)

示例说明

以下是两个针对示例csv文件的解决方法。

示例1：gbk编码方式

当我们尝试读取以下csv文件时：

name,年龄,性别
张三,18,男
李四,20,女
王五,25,男

我们会遇到以下报错：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb4 in position 0: invalid start byte

这是因为该文件是使用gbk编码方式存储的。我们可以通过指定文件编码方式或者使用header参数解决这个问题。

使用方法一：手动指定文件编码方式来读取

import chardet
import pandas as pd

# 使用chardet检测文件编码方式
with open('filename.csv', 'rb') as f:
    result = chardet.detect(f.read())

# 手动指定文件编码方式进行读取
df = pd.read_csv('filename.csv', encoding=result['encoding'])

使用方法二：使用read_csv的参数header来读取

import pandas as pd

# 使用read_csv的参数header改变读取配置来读取
df = pd.read_csv('filename.csv', encoding='utf-8', header=0)

示例2：列标题中带空格