Pandas处理缺失值的4种方法

什么是缺失值

在实际数据分析过程中，经常会遇到一些数据缺失的情况，这种情况可能是由于以下原因导致的：

1. 数据收集的不完整：有些数据可能由于各种原因无法获取或者未收集到。

2. 数据输入错误：数据收集者可能会犯一些输入错误，例如遗漏一些数据或者输入了一些不正确的数据。

3. 数据处理错误：数据处理过程中可能会犯一些错误，例如计算错误或者数据合并错误等。

4. 数据保存错误：数据保存时可能会丢失一些数据或者格式不正确导致读取出错。

为了解决这个问题，Pandas提供了一种叫做“稀疏数据”的数据类型，即表示大量缺失值的数据类型。

什么是稀疏数据？

在Pandas中，稀疏数据是指有很多缺失值的数据，其中大部分缺失值是连续分布的（即相邻的值是缺失值），这时可以使用一种叫做“稀疏矩阵”的数据结构来存储数据，它只记录非缺失值的位置和值，从而大大减小数据集的大小，提高计算效率。

Pandas中提供了一些稀疏数据结构，例如SparseSeries和SparseDataFrame，它们可以处理具有大量缺失值的数据。这些数据结构支持一些基本的操作，例如切片、索引、计算等，也支持一些高级的稀疏操作，例如对齐、填充、转换等。

需要注意的是，稀疏数据虽然可以节省存储空间和提高计算效率，但是其使用场景比较有限，只适用于大部分值都是缺失值的情况。对于非常稠密的数据，稀疏数据结构并不适合使用。

处理缺失值的4种方法

Pandas提供了多种方法来处理缺失值，主要有以下4种：

1. 删除缺失值
2. 填充缺失值
3. 插值填充缺失值
4. 替换缺失值

下面通过实例来说明常用的几种方法。

首先，创建一个包含缺失值的DataFrame：

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': [1, 2, np.nan, 4],
                   'B': [5, np.nan, 7, 8],
                   'C': [9, 10, 11, np.nan]})
print(df)

输出结果如下：

     A    B     C
0  1.0  5.0   9.0
1  2.0  NaN  10.0
2  NaN  7.0  11.0
3  4.0  8.0   NaN

我们以此为例，介绍处理缺失值的4种方法：

删除缺失值

可以使用dropna()函数删除含有缺失值的行或列，例如删除含有缺失值的行：

df.dropna(axis=0)

输出结果如下：

     A    B    C
0  1.0  5.0  9.0

删除含有缺失值的列：

df.dropna(axis=1)
输出结果如下：

Empty DataFrame
Columns: []
Index: [0, 1, 2, 3]

填充缺失值

可以使用fillna()函数对缺失值进行填充，例如使用0填充缺失值：

df.fillna(0)
输出结果如下：

     A    B     C
0  1.0  5.0   9.0
1  2.0  0.0  10.0
2  0.0  7.0  11.0
3  4.0  8.0   0.0

使用平均值填充缺失值：

df.fillna(df.mean())

输出结果如下：

     A    B     C
0  1.0  5.0   9.0
1  2.0  6.0  10.0
2  2.333333  7.0  11.0
3  4.0  8.0  10.0

插值填充缺失值

可以使用interpolate()函数对缺失值进行插值填充，例如使用线性插值：

df.interpolate()

输出结果如下：

     A    B     C
0  1.0  5.0   9.0
1  2.0  6.0  10.0
2  3.0  7.0  11.0
3  4.0  8.0  11.0

替换缺失值

可以使用replace()函数替换缺失值为指定的值，例如替换为0：

df.replace(np.nan, 0)

输出结果如下：

     A    B     C
0  1.0  5.0   9.0
1  2.0  0.0  10.0
2  0.0  7.0  11.0
3  4.0  8.0   0.0