Python数据清洗&预处理入门教程

什么是数据清洗&预处理？

数据清洗和预处理是数据科学、机器学习及人工智能领域中最重要的步骤之一。数据清洗通常是指从数据源中检查、更新或修复缺失值、重复值、错误数据或不一致的数据。数据预处理则包含了对数据进行转换、归一化、标准化等操作，以便能够更好地用于后续的分析、建模和可视化。

常见的数据清洗&预处理技术

数据清洗和预处理通常需要使用到以下的技术和方法：

数据读取和载入

Python有许多内置的和第三方的库，可以用于读取和载入各种不同格式的数据文件，如csv、xlsx、JSON、数据库等。常用的库包括pandas、numpy、sqlite3等。

缺失值处理

缺失值是指在数据集中某个属性值未被采集，或读取时遗失了的数据。处理缺失值的主要方法有删除、填补、插值等。常用的库包括pandas、numpy、sklearn等。

重复值处理

重复值指在数据集中有完全相同的记录。处理重复值的方法通常是删除或合并。常用的库包括pandas等。

异常值处理

异常值是指与其他数据明显不同或不一致的数据点。处理异常值的方法通常是删除、替换或修复。常用的库包括pandas、numpy、sklearn等。

数据转换

数据转换是指将原始数据转换为可以用于数据分析和建模的格式。常用的方法包括one-hot编码、标签编码、数值归一化、数值标准化等。常用的库包括pandas、sklearn等。

示例说明

示例1：数据读取和载入

以下代码示例演示如何使用pandas库读取一个csv文件：

import pandas as pd

data = pd.read_csv("data.csv")
print(data.head())

其中，“data.csv”是要读取的文件名，read_csv()方法读取文件并将其保存为pandas的DataFrame格式，head()方法则用于显示前几行数据。

示例2：缺失值处理

以下代码示例演示如何使用numpy和sklearn库填补缺失值：

import numpy as np
from sklearn.impute import SimpleImputer

# 创建一个包含缺失值的数据集
X = np.array([[1, 2], [np.nan, 3], [7, 6], [5, np.nan], [4, 9]])

# 使用SimpleImputer库中的mean策略填补缺失值
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
X_filled = imputer.fit_transform(X)

print(X_filled)

其中，“np.nan”表示缺失值，SimpleImputer库中的mean策略用于使用平均值填补缺失值。fit_transform()方法用于将填补后的数据集返回。