机器学习笔记三：欠拟合与过拟合的概念

注：以下所有内容均来自 网易公开课Andrew Ng的机器学习课程

 

本课要讲的内容包括：

1、Locally weighted regression(局部加权回归)

2、Probabilistic interpretation(概率解释)

3、Logistic regression(逻辑回归)

4、Perception(感知器)

5、Newton's method(牛顿方法)

 

欠拟合与过拟合的概念

对于以下三种拟合，第一种用一次函数拟合，第二种用二次函数拟合，第三种用7次函数。显然，二次函数的拟合比较恰当，一次函数为欠拟合，7次函数为过拟合。

 

 

补充概念：

参数学习算法（parametric learning algorithem）是已知X找到合适的theta的参数集合

非参数学习算法（no-parametric learning algorithem）参数的数量会随着训练集合m的增长而增长

 

局部加权回归（一种非参数学习算法）

 LWR算法，就是在所选点周围选取一系列样本，然后用线性回归拟合函数，在构造函数选取参数theta时，靠近的点求和权重W(i)设置大一些

通常，我们设置W(i)函数为指数衰减函数：

 

概率解释

我们假设y和x满足如下等式，第二项为误差项

 

进一步假设误差项满足高斯分布，即

以上两式换元之后得到

概率密度函数也即关于theta的似然函数，即

又有m个样本满足独立同分布，故似然函数满足

为了计算方便，我们对函数取对数得 l(theta)，并化简

显然，要取得最大似然，就得第二项越小，这点解释了为什么最小二乘法能进行合理的预测

 

逻辑回归

 我们在之前的线性回归中，遇到的都是连续分布的元祖，而当形如

时，我们继续采用线性规划会导致误差偏大，此时我们引入sigmoid函数（逻辑回归函数）

 

sigmoid函数图像如下

sigmoid函数求导有如下性质：

 

theta更新方式为

 

 

 Perception(感知器)

其将逻辑回归中的sigmod函数替换成阈值函数

更新方式同样也是