CH4 带有约束条件的最小二乘法
重点提炼
提出带有约束条件的最小二乘学习法的缘故:
左图中可见:一般的最小二乘学习法有个缺点----对于包含噪声的学习过程经常会过拟合
右图:有了空间约束之后,学习到的曲线能避免过拟合,得到想要的学习结果(x-y关系)。
带有约束条件的最小二乘学习法具体方法
1.部分空间约束的最小二乘学习法
① 公式
在上面普通最小二乘学习法公式基础上添加一个约束条件:
② 对线性模型进行带有约束条件的最小二乘学习,得到参数theta
③ 优点:只用了参数空间的一部分
④ 缺点:由于正交投影矩阵P的设置有很大的自由度,所以在实际应用中操作较难
2.L2约束的最小二乘学习法----圆形
① 公式
在普通最小二乘学习法公式基础上添加一个约束条件:
这里用到的二范数,所以此种方法叫做L2,L2约束的最小二乘学习法是以参数空间的原点为圆心,在一定半径范围的圆内进行求解。
② 利用拉格朗日对偶问题,通过求最优解问题,得到参数theta
③ 优点:比起部分空间约束的最小二乘学习法,L2约束的最小二乘学习法在操作上相对容易,避免了空间约束方法中有很大自由度去设置矩阵P
3.一般L2约束的最小二乘学习法----椭圆形
① 公式
在普通最小二乘学习法公式基础上添加一个约束条件:,可以把参数限制在椭圆形状的数据区域内
② 参数的解
如何选择模型?
1.L2约束的最小二乘学习法中选择高斯核模型的参数影响:
带宽h太小 |
函数会呈锯齿状 |
带宽h太大 |
函数过于平滑 |
正则化参数太小 |
过拟合现象明显 |
正则化参数太大 |
结果趋于直线 |
所以要选择合适的带宽以及正则化参数
2.模型选择的含义
采用不同的输入训练样本,来决定机器学习算法中包含的各个参数值,叫做模型选择。
3.模型选择的一般流程
最重要的是第三步泛化误差,即对未知的测试样本求预测误差
4.交叉验证法求泛化误差
① 提出原因:可以通过交叉验证求得最小的泛化误差,从而确定最佳的模型参数;交叉验证法可以对泛化误差进行较为精确的评估,防止强过拟合
② 思路:把训练样本的一部分拿出来作为测试样本
③ 算法流程:
带有约束条件的最小二乘学习法结合交叉验证法,在实际应用中是非常有效的回归方法!
P33
通过运行代码学习
1.“对线性模型进行部分空间约束的最小二乘法学习,其中线性模型基函数是三角多项式”
公式中的约束矩阵P即代码中的PP,在这里是手动进行设置的,也可以通过后续ch13节中的pca基于数据进行设置。满足的条件是:
,其中第一行到第十一行这部分子矩阵上的对角线上值为1,其它都为0
普通最小二乘法学习结果
受约束的最小二乘法学习结果
与x-y训练数据做比较
结果显示,通过约束设置,使得过拟合得到了一定程度的减轻。
P33
补充知识来理解书上内容
Matlab 中 diag函数
X = diag(v):向量v在方阵X的主对角线上
例:
v=[1 2 3];
diag(v)
ans =
1 0 0
0 2 0
0 0 3
P36
通过运行代码学习
“对高斯核模型进行l2约束的最小二乘学习”
下面的k与K分别是训练集以及测试集中的基函数,这里因为用了高斯核,所以
无约束的最小二乘法中,参数解,所以有:
因此就得到了输出观测值:
在L2约束的最小二乘法中,参数解,所以
得到了L2约束后的输出观测值y
可视化结果:绿色是无约束的最小二乘法后输出的预测值y,红色是L2约束的最小二乘法输出的预测值y,蓝色圈是真实的训练数据的输出值y。
可见红色部分即L2参数约束后,有效防止了过拟合。
P36
补充知识来理解书上内容
Matlab 中repmat函数
Matlab 中eye函数
eye(n)会生成n*n的矩阵,且正对角线上都是1,其它都是0
P42
通过运行代码学习
“对高斯核模型的l2约束的最小二乘学习法进行交叉验证---得到最小的泛化误差---从而选择最佳的高斯核模型参数”
带宽h设为0.03、0.3、3三种可能;正则化参数lameda设为0.0001、0.1、100三种可能
把50个训练集平均分为m=5等份
下面这步之后,训练集还是被平分为5份,只是顺序全部随机化了
1.当h=0.03时
(1)对编号为2、3、4、5的40个作为训练集得到参数,再得到编号为1作测试集的y,再计算泛化误差
① Lameda=0.0001时计算误差
② Lameda=0.1时计算误差
③ Lameda=100时计算误差
(2)对编号为1、3、4、5的40个作为训练集得到参数,再得到编号为2作测试集的y,再计算泛化误差
④ Lameda=0.0001时计算误差
⑤ Lameda=0.1时计算误差
⑥ Lameda=100时计算误差
(3)对编号为1、2、4、5的40个作为训练集得到参数,再得到编号为3作测试集的y,再计算泛化误差
⑦ Lameda=0.0001时计算误差
⑧ Lameda=0.1时计算误差
⑨ Lameda=100时计算误差
(4)对编号为1、2、3、5的40个作为训练集得到参数,再得到编号为4作测试集的y,再计算泛化误差
⑩ Lameda=0.0001时计算误差
11 Lameda=0.1时计算误差
12 Lameda=100时计算误差
(5)对编号为1、2、3、4的40个作为训练集得到参数,再得到编号为5作测试集的y,再计算泛化误差
13 Lameda=0.0001时计算误差
14 Lameda=0.1时计算误差
15 Lameda=100时计算误差
2.当h=0.3时
(1)对编号为2、3、4、5的40个作为训练集得到参数,再得到编号为1作测试集的y,再计算泛化误差
16 Lameda=0.0001时计算误差
17 Lameda=0.1时计算误差
18 Lameda=100时计算误差
(2)对编号为1、3、4、5的40个作为训练集得到参数,再得到编号为2作测试集的y,再计算泛化误差
19 Lameda=0.0001时计算误差
20 Lameda=0.1时计算误差
21 Lameda=100时计算误差
(3)对编号为1、2、4、5的40个作为训练集得到参数,再得到编号为3作测试集的y,再计算泛化误差
22 Lameda=0.0001时计算误差
23 Lameda=0.1时计算误差
24 Lameda=100时计算误差
(4)对编号为1、2、3、5的40个作为训练集得到参数,再得到编号为4作测试集的y,再计算泛化误差
25 Lameda=0.0001时计算误差
26 Lameda=0.1时计算误差
27 Lameda=100时计算误差
(5)对编号为1、2、3、4的40个作为训练集得到参数,再得到编号为5作测试集的y,再计算泛化误差
28 Lameda=0.0001时计算误差
29 Lameda=0.1时计算误差
30 Lameda=100时计算误差
3.当h=3时
(1)对编号为2、3、4、5的40个作为训练集得到参数,再得到编号为1作测试集的y,再计算泛化误差
31 Lameda=0.0001时计算误差
32 Lameda=0.1时计算误差
33 Lameda=100时计算误差
(2)对编号为1、3、4、5的40个作为训练集得到参数,再得到编号为2作测试集的y,再计算泛化误差
34 Lameda=0.0001时计算误差
35 Lameda=0.1时计算误差
36 Lameda=100时计算误差
(3)对编号为1、2、4、5的40个作为训练集得到参数,再得到编号为3作测试集的y,再计算泛化误差
37 Lameda=0.0001时计算误差
38 Lameda=0.1时计算误差
39 Lameda=100时计算误差
(4)对编号为1、2、3、5的40个作为训练集得到参数,再得到编号为4作测试集的y,再计算泛化误差
40 Lameda=0.0001时计算误差
41 Lameda=0.1时计算误差
42 Lameda=100时计算误差
(5)对编号为1、2、3、4的40个作为训练集得到参数,再得到编号为5作测试集的y,再计算泛化误差
43 Lameda=0.0001时计算误差
44 Lameda=0.1时计算误差
45 Lameda=100时计算误差
所有循环经历后得到的误差:是一个3*3*5的矩阵
求5组训练集上的泛化误差均值,并选出其中最小误差值
得到对应的最佳参数h=0.3,lameda=0.1,计算最佳参数时的参数,以及真正测试集的输出结果,可视化拟合结果:
P42
补充知识来理解书上内容
Matlab 中floor函数
Matlab 中randperm函数
Matlab 中数值关系符号
Matlab 中mean函数
mean (A, 3) 是对矩阵A中第三维求均值
Matlab 中min函数
min(A,[],2)返回一个列向量,其第i个元素是A矩阵的第i行上的最大值
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:《图解机器学习-杉山将著》读书笔记—CH4 - Python技术站