数据清洗的步骤是什么？

数据清洗（Data cleaning）是指通过对数据进行处理和筛选，使数据更加符合使用需求的过程。数据清洗的目的是为了保证数据质量，提高数据的可靠性和实用性。下面是数据清洗的基本步骤和攻略：

1. 收集数据：获取待清洗的数据，包括从数据库、文本、Excel等不同来源。

2. 处理缺失值：检查并清除数据中的缺失值。常用方法有平均值、中心值，也可以选择直接将缺失值删除。

3. 处理异常值：通过检查数据分布、统计学方法、图表等方式，找出异常值并进行处理。处理方法可以是删除异常值，也可以是用其他合理值代替异常值。

4. 处理重复值：去除数据集中的重复值。可以使用Excel工具进行去重,也可编写代码实现。

5. 处理错误数据：通过对数据的逻辑性和一致性进行分析，找出错误数据。根据错误数据的类别不同，采用不同的处理方法，比如替换、删除、修正等。

6. 统一格式：将不统一的数据格式进行统一，包括大小写、单位、日期格式等。

7. 数据转换：将原始数据转换成可分析和可处理的格式。例如将图片转换为数字矩阵。

示例一：

某市公安局统计每日上班人数，收集到的数据有重复值。通过调研发现，重复值来自于一些数据输入错误，同一人名采入两次等。清洗步骤如下：

1. 删除重复值。采用“Ctrl+Shift+End”快捷键选中全部数据，选择“数据”菜单下的“删除重复项”，选择“姓名”和“时间”为关键内容。

2. 检查数据异常值。选择图表菜单，然后选择合适的图表，对数据分布情况进行分析，找出异常数据并进行处理。

示例二：

某网站上的用户数据，统计结果发现有缺失值。清洗步骤如下：

1. 检查缺失值。通过程序脚本计算，统计出缺失值的数量、所在行列，判断缺失值是否可行，未检查出问题之前不直接删除。

2. 分析缺失值。判断缺失值出现的原因，可能是数据未采集到，或者是采集有误等，根据原因采取不同的处理方法。

3. 填充缺失值。如果缺失值数量较少，可以采用平均数、中位数等统计方法进行填充，对于大量缺失值的，可以选择删除对应的行列，或者是进行矫正。