《图解机器学习-杉山将著》读书笔记—CH2

 

CH2 学习模型

重点提炼

学习模型作用：

使特定函数与数据集相近似

学习模型类型：

1.线性模型

(1)最简单的线性模型，缺点：只能表现线性的输入输出函数，不能很好地解决实际问题

 

（2）基于参数的线性模型，优势：适合实际应用

 

①　第一种基函数可以是

 

②　第二种基函数可以是

 

 一维的输入x还可以扩展为d维的向量，会使用一维的基函数来构造多维基函数的乘法模型以及加法模型

   乘法模型：参数太多会带来维数灾难，但模型表现力较好

加法模型：参数个数是计算机正常计算的范围内，但是只考虑了一维基函数相加的情况，模型表现力欠佳

 

 2.核模型：与线性函数不同的是，线性模型没有用到训练样本，而核模型是用到训练样本的

 

优点1：高斯核函数中对各个输入样本进行高斯核配置，并把高度作为参数进行学习，只能在训练集的输入样本附近对函数进行近似，所以减轻了维数灾难的影响。和线性模型不同，参数的个数不依赖维度数d，而是直接和训练样本个数n有关。当训练样本个数超多时，可以把输入样本的部分集合作为核均值来计算。

 

 优点2：不用关心输入样本x具体是什么。可是是字符串、决策树、图标等的核函数

3.层级模型

 

 层级模型优点：核模型中高斯函数的带宽和均值都是固定的，但在层模型中，带宽和均值都是需要学习出来的，所以层级模型比核模型更加灵活地对函数进行近似。

层级模型学习方法：

1.贝叶斯学习

2.从邻近输入样本的层级开始，一层一层无监督学习

 P12

补充知识来理解书上内容

基于参数的线性模型一般形式

 

 P13

补充知识来理解书上内容

一种常用的基函数

 

 另一种常用的基函数

 

 三角多项式

在数学中，三角多项式是一类基于三角函数的函数的总称。三角多项式是可以表示成有限个正弦函数sin(nx) 和余弦函数cos(nx) 的和的函数。

                                                                

基函数中一维的输入x还可以扩展为d维的向量

 乘法模型：

 

加法模型：

 

 高斯核函数

 

矩阵A的2范数就是 A的转置矩阵与矩阵A的积的最大特征根的平方根值，是指空间上两个向量矩阵的直线距离。类似于求棋盘上两点间的直线距离。

带宽越小，曲线越窄；

均值=a，曲线中心的x=a

P18

补充知识来理解书上内容

S函数

 

S型函数模仿的是人类脑细胞的输入输出函数，因此使用S型函数的层级模型也经常称为人工神经网络模型。

 w越小，曲线斜率越小；

 r越小，曲线越迟达到稳定状态

 耦合系数

指的是关联参数