数据清洗–DataFrame中的空值处理方法

数据清洗--DataFrame中的空值处理方法

在数据挖掘过程中，经常会遇到数据缺失或者空值的情况。如果不进行处理，这些数据将会影响到后续数据分析的结果。本文将介绍一些常见的DataFrame中的空值处理方法。

1. 发现空值

在DataFrame中，空值通常包含np.nan或者Python内置的None。我们可以使用isnull()方法来查看DataFrame中是否有空值：

import pandas as pd

df = pd.DataFrame({"A":[1,2,None], "B":[4,None,6], "C":[None,8,9]})
print(df.isnull())

输出结果如下：

       A      B      C
0  False  False   True
1  False   True  False
2   True  False  False

从结果中可以看出，DataFrame中有几个空值。

2. 删除空值

删除空值是一种常见的处理方法。Pandas提供了dropna()方法删除DataFrame中的空值：

import pandas as pd

df = pd.DataFrame({"A":[1,2,None], "B":[4,None,6], "C":[None,8,9]})
df = df.dropna()
print(df)

此时，输出结果是：

     A    B  C
0  1.0  4.0  8

可以看出，删除空白值后，只留下了一行数据。

3. 填补空值

删除空值可能会导致数据丢失过多，有时候不得不考虑填补空值。我们可以使用fillna()方法填补空值，在填补空值前，我们需要先判断空置出现的列，再针对每一列进行填充操作。

import pandas as pd
import numpy as np

df = pd.DataFrame({"A":[1,2,None], "B":[4,None,6], "C":[None,8,9]})
# 判断空值出现的列
null_columns = df.columns[df.isnull().sum() > 0]
# 分别填充空值
for column in null_columns:
    df[column].fillna(value=df[column].mean(), inplace=True)

print(df)

输出结果如下：

     A    B    C
0  1.0  4.0  8.5
1  2.0  5.0  8.0
2  1.5  6.0  9.0

在这个例子中，我们使用平均值来填补空值。注意到这里我们使用inplace=True使得填充方法直接修改DataFrame中的数据。

4. 总结

本文介绍了DataFrame中的空值处理，包括查找空值、删除空值和填补空值。一般来讲，删除空值是最简单的方法，但是可能会导致数据丢失过多。填补空值是更好的处理方法，但是需要根据具体情况下处理，如用平均值填补空值。