Pandas之read_csv()读取文件跳过报错行的解决

当使用pandas的read_csv()方法读取文件时，有时候会出现一些行无法正确的被转换为DataFrame对象的情况，此时可能会出现报错或者丢失数据的情况。本文将介绍如何通过读取CSV文件时跳过报错行，从而更好的处理文件。

1. 使用Python内置的csv模块进行文件处理

一个常见的场景是，读取的CSV文件有某些问题，不能按照标准格式读取，导致报错。这时候，可以使用Python内置的csv模块先读取一遍文件，然后再使用pandas处理最终得到的正确数据。下面是示例代码：

import csv
import pandas as pd

with open('file.csv', 'r', encoding='utf8') as f:
    reader = csv.reader(f)
    # 跳过第一行
    next(reader)
    # 使用pandas处理数据
    df = pd.DataFrame(reader)

在这个例子中，我们首先使用csv模块对文件进行读取，并跳过了第一行。然后，我们使用Pandas的DataFrame来处理得到的数据。在使用csv模块读取文件的过程中，我们可以通过捕获异常，跳过出现异常的行。下面是一个更高级的例子：

import csv
import pandas as pd

with open('file.csv', 'r', encoding='utf8') as f:
    reader = csv.reader(f)
    headers = next(reader)   # 获取第一行作为header
    data = []
    for line in reader:
        try:
            converted_line = [int(x) for x in line]
            data.append(converted_line)
        except ValueError:
            pass   # 跳过错误的行

df = pd.DataFrame(data, columns=headers)

在这个例子中，我们将每一行的数据转换为整数，并将转换后的行添加到一个列表中，如果出现转换错误，则直接跳过此行。当所有行被处理完后，再使用Pandas的DataFrame来处理得到的数据。

2. 使用参数进行过滤

read_csv()方法有一些参数，可以过滤掉不符合条件的行。其中比较有用的有以下两个参数：

• skiprows: 设置需要跳过的行数。例如：如果有一个数据文件，其中包含一些描述性说明之类的行，可以使用这个参数跳过。
• error_bad_lines: 设置是否跳过解析错误的行。如果设置为True，则跳过错误的行，并继续运行；如果设置为False，则遇到错误行时抛出异常。

下面是一个示例，展示如何使用这些参数：

import pandas as pd

df = pd.read_csv('file.csv', skiprows=3, error_bad_lines=False)

在这个示例中，我们设置跳过前3行，并且忽略解析错误行。当解析错误的行被跳过时，Pandas会打印一条警告信息。

以上两种方法都可以解决使用Pandas的read_csv()方法读取文件时遇到的读取错误的问题，可以根据实际情况选择合适的方法。