Python数据预处理常用的5个技巧

绝大多数机器学习任务需要对数据进行预处理，以使得其适合下一步的分析。本文介绍5个Python数据预处理常用的技巧。

技巧1：数据清洗

数据清洗是任何机器学习任务中最重要且最困难的任务之一。这个步骤需要去掉含有缺失数据的行或列，并将文本或分类数据转换为数值数据。

下面是一个对带有缺失值的数据进行处理的示例：

import pandas as pd
import numpy as np

# 构建包含缺失值的数据
data = {'name': ['Alice', 'Bob', np.nan, 'Charlie'],
        'age': [20, 30, np.nan, 40],
        'gender': ['F', 'M', 'F', 'M']}
df = pd.DataFrame(data)

# 去掉含缺失值的行
df_cleaned = df.dropna()

# 将分类数据转换为数值数据
df_cleaned['gender'] = df_cleaned['gender'].map({'M': 1, 'F': 0})

print(df_cleaned)

技巧 2：标准化数据

标准化数据是机器学习任务中的重要步骤。标准化数据可以确保自变量取值在同一尺度之间，这样有些算法（比如KNN、SVM等）才能得到更好的性能。

下面是一个对数据进行标准化的示例：

from sklearn.preprocessing import StandardScaler
import pandas as pd

# 构建数据
data = [[20, 100], [30, 200], [40, 150], [50, 300]]
df = pd.DataFrame(data, columns=['age', 'income'])

# 实例化 StandardScaler
scaler = StandardScaler()

# 对数据进行标准化
scaled_data = scaler.fit_transform(df)

print(scaled_data)

技巧 3：特征选择

特征选择是对机器学习任务中很常见的问题。对于高维度的数据集，我们常常需要选择最有用的特征，以减少计算成本、消除多余的信息并提高模型的准确性。

下面是一个使用SelectKBest和f_classif来进行特征选择的示例：

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import f_classif
import pandas as pd
import numpy as np

# 构建包含分类特征的数据
data = {'feat1': [1, 2, 3, 4],
        'feat2': [5, 6, 7, 8],
        'class': [1, 0, 1, 0]}
df = pd.DataFrame(data)

# 将特征和类别分离
X = df.iloc[:, 0:2]
y = df.iloc[:, 2]

# 使用SelectKBest和f_classif选择两个最佳特征
selector = SelectKBest(f_classif, k=2)
X_new = selector.fit_transform(X, y)

print('原数据：\n', X)
print('新数据：\n', X_new)

技巧 4：特征缩放

特征缩放是另一个常见的数据处理技术。对于很多机器学习算法（比如SVM、KNN、神经网络等），特征缩放是必须的。通常，我们可以将每个特征的值缩放到0到1之间，或使用标准化将它们缩放到均值为0和方差为1的值。

下面是一个对数据进行缩放的示例：

from sklearn.preprocessing import MinMaxScaler
import pandas as pd

# 构建数据
data = [[20, 100], [30, 200], [40, 150], [50, 300]]
df = pd.DataFrame(data, columns=['age', 'income'])

# 实例化MinMaxScaler
scaler = MinMaxScaler()

# 对数据进行缩放
scaled_data = scaler.fit_transform(df)

print(scaled_data)

技巧 5：属性构造

属性构造是指从原始数据中创建新的属性。新的属性可能更好地反映数据，并且更有可能提高机器学习算法的性能。例如，你可以通过将两个或多个现有属性进行相除或相加来创建新的属性。

下面是一个对数据进行属性构造的示例：

import pandas as pd
import numpy as np

# 构建数据
data = {'x': [1, 2, 3, 4],
        'y': [5, 6, 7, 8]}
df = pd.DataFrame(data)

# 创建新属性 x+y 和 x/y
df['x+y'] = df['x'] + df['y']
df['x/y'] = df['x'] / df['y']

print(df)

综上，本文介绍了Python数据预处理常用的5个技巧，包括数据清洗、标准化、特征选择、特征缩放、属性构造。这些技巧为机器学习的实践提供了重要帮助。