机器学习：数据准备和特征工程

对于数据挖掘，数据准备阶段主要就是进行特征工程。

 

 数据和特征决定了模型预测的上限，而算法只是逼近了这个上限。

 

好的特征要少而精，这会使模型更简单、更精准。

 

 

一、特征构造

1.’常见提取方式

文本数据的特征提取

词袋向量的方式：统计频率

 

 图像数据的特征提取

像素点RGB

用户行为特征提取

 

 

 

特征提取总结：

• 特征设计时需要与目标高度相关：

　　　　这个特征对预测目标是否有用

　　　　如果有用，这个特征的重要程度如何

　　　　这个特征的信息是否在其他特征重体现过

• 特征需要专业领域知识、直觉和一定的数学知识
• 初始提取的特征后续还要进行特征转换处理，再进入算法模型
• 特征设计和提取需要不断反复迭代验证，是一个非常耗时的工作

 

2.RFM

在客户关系（CRM）领域，三个刻画用户的神奇指标：

• 最近一次消费间隔时长（Recency）
• 消费频率（Frequency）
• 消费金额（Monetary）

 

RFM分析方法有一种叫五等分法

把RFM切成5个人数等分区间，然后形成RFM的组合立方体

125个格子

 

 R越小越好，FM越大越好

R是越小，等级越大，于是RMF统一为等级越大越好

因此用户的等级范围是111-555

 

RFM应用价值：用户细分

111-555共125个群体，比较多，可以做一些合并

根据不同的RFM值组合情况，可以把用户分成不同群体，以便制定差异化策略

 

 

RFM应用价值：用户价值及营销响应评估

 

 

 

二、特征转换

1.连续变量无量纲化处理

使不同规格尺度的数据转换到同一规格尺度

目的：

• 无量纲化可以让不属于同一量纲的特征值可以比较：例如身高（cm），体重（kg）
• 无量纲化后模型收敛会加快（运行速度较快）
• 无量纲化对一些模型的结果影响比较大，例如聚类模型，无量纲化后效果会更好 基于距离的一些模型

 

常用无量纲化方法--标准化

效果：把原始的连续变量转换为均值为0，标准差为1的变量

${x}'=\frac{x-\bar{x}}{\delta }$

 常用无量纲化方法--区间缩放法

效果：把原始的连续变量转换为范围在a-b之间的变量，常见的a=0，b=1

${x}'=\frac{x-\min(x)}{\max(x)-\min(x) }$

 

2.连续变量数据变换

数据变换：通过函数变换改变原数据的分布

目的：

• 变换后更便捷地发现数据之间的关系：从没有关系变成有关系
• 很多数据呈现严重的偏态分布（很多偏小的值聚集在一起），变换后差异可以拉开
• 让数据更符合模型理论所需要的假设，然后对其分析，例如变换后数据呈现正态分布

 

 常用的数据变换方法

• log变换 x=ln(x)
• box-cox变换，自动寻找最佳正态分布变换函数的方法

 

 

3.连续变量离散化

把连续型的数值切割为少数的一些区间，例如年龄值切割为5个年龄段

目的：

• 方便探索数据分布和相关性，例如直方图，交叉表
• 离散化后的特征对异常数据有很强的鲁棒性：减少异常数据对模型的影响
• 离散化后可以进行特征交叉组合，由M+N个特征变量变为M*N个特征变量
• 特征离散化后，模型会更稳定
• 特征离散化后，简化了模型复杂度，降低了过拟合风险
• 一些模型（关联模型）要求输入特征是离散的

 

离散化方法：

非监督离散化方法

 

 

有监督的离散化：决策树

 

 

一种特殊的离散化：二值化

 

 一种特殊的离散化：Rounding（取整）

 

4.类别变量编码

把类别型变量编码成数值型的变量

目的：

• 很多机器学习算法无法处理类别型变量，必须转换为数值型变量
• 一定程度上起到了扩充特征的作用（构造了新的特征）

 

one-hot编码

 

 Counting Encoding

用类别的频数来编码，也可以对频数去量纲化（秩序，归一化等）

 

 Target Encoding

用目标变量（二分类）中的某一类的比例来编码

 

 

5.日期型变量处理

 

 

6.缺失值处理

缺失值原因

 

 处理方法

 

 

7.特征组合

目的：通过特征组合构造出更多/更好的特征，提示模型精度

 

 组合让特征更加精细，反映了原始多个特征之间的交互关系。

 

特征组合的方法

 

 示例

 

 

三、数据降维

在尽量少减少信息量的前提下，采用某种映射方法（函数），把原来的高维（变量多）数据映射为低维数据（变量少）

 

 降维原因：

• 维数灾难：高维情况下容易发生模型的过拟合（泛化能力弱）
• 特征之间有明显的自相关的时候，也要考虑降维，因为自相关会让模型效果变差
• 降维可以对数据中的有效信息进行综合提取，并去除一些无用的噪音信息
• 降维后降低模型复杂度，减少模型训练时间
• 降维之后可以对数据进行可视化分析

 

维数灾难

 

 维数灾难原因

当特征值（空间）个数趋向无限大时，样本密度非常稀疏，训练样本被分错的可能性趋向于零

 

 降维后发生什么？

线性模型可能精确度会下降，但是也会避免出现过拟合现象

 

 避免维度灾难的一个方法是增加样本量

样本密度：样本数/特征值个数；当增加维度时，保持样本密度不变的方法就是增加样本量

 

 

常用降维方法

 

 

主成分分析

通过某种线性投影，将高维数据映射到低维空间中表示，并期望在所投影的维度上数据方差最大。使用较少的数据维度，尽量保留住较多的数据信息。

 

 PCA操作流程

 

 

线性判别分析法

 

 PCA与LDA

 

 实验结果

 

 

总结：

• 如果研究的问题有目标变量（类别型）

　　　　优先使用LDA来降维

　　　　可以使用PCA做小幅度的降维去噪声，然后再使用LDA降维

• 如果研究的问题没有目标变量

　　　　优先使用PCA来降维

 

四、特征选择

特征选择与降维

 

 特征选择原因：

• 提高预测准确性
• 构造更快，消耗更低的预测模型
• 能够对模型有更好的理解和解释

 

特征选择的方法

 

 

单特征重要性评估

过滤方法

 

苹果onNet_month与Flag（目标）指标的相关性

 

 

信息值（IV）

 

 变量重要性可视化：趋势分析

 

 

 

 

更多指标