表达模型

变量表示

x(i) : 第 i 个输入变量,也称为输入特征

y(i) : 第 i 个输入变量,即我们希望预测的内容

(x(i), y(i)) ; i = 1,...,m : 表示一个训练集

X : 输入值空间; Y : 输出值空间

 

模型的表达

对于监督学习来说,就是给定一个训练集,输出一个函数 h:X --> Y,使函数 h(x) 能够预测对应的 y 值。

函数 h (由于历史原因)叫做 hypothesis

机器学习笔记(1): 模型和 cost function

 

 回归问题:当输出 y 是连续值时,我们称之为回归问题,如根据房屋面积预测房价

 分类问题:当输出 y 是离散值时,我们称之为分类问题,如给定面积预测房子是house还是apartment

 


 

损失函数(cost function)

cost function: 用来测量 hypothesis 函数的准确度的函数

机器学习笔记(1): 模型和 cost function

损失函数又叫平方差函数

我们要找到合适的 θ0 和 θ1 ,让 J0, θ1) 的值最小

 

以线性函数 hθ (x) = θ+ θ1x为例,假设 θ0 = 0,数据集为(1, 1), (2, 2), (3, 3),

当 θ1 为 1 时, cost function 为0为最佳情况,如下图

 机器学习笔记(1): 模型和 cost function

当 θ1 为1 时, cost function 为 0.58

机器学习笔记(1): 模型和 cost function

继续计算 θ的其他值,我们可以得到下图

机器学习笔记(1): 模型和 cost function

我们的目的是最小化 cost function ,  θ1 为1时,cost function 最小

 

当 θ0 和 θ都不为0时, 可以用等高线来表示 cost function,每条线上的 J0, θ1) 值都相等

θ0 = 800,  θ1 = -0.15

机器学习笔记(1): 模型和 cost function

θ0 = 360,  θ1 = 0, J0, θ1) 的值更接近等高线的中心, J0, θ1)的值更小了

机器学习笔记(1): 模型和 cost function

θ0 = 250,  θ1 = 0.12, J0, θ1) 的值最小,在内层圆形的中心

机器学习笔记(1): 模型和 cost function