机器学习（二）回归

这一讲开始，每一讲都是一个重要的模型。由于我也是初学者，更新可能会慢了。现在的比较比较凌乱，等这些课程全部学完之后，会统一再整理一下。

主要内容：

线性回归——高斯分布、极大似然估计MLE、最小二乘法的本质

Logistic回归——分类问题的首选算法（简单）

工具：梯度下降算法、极大似然估计

回归与分类的简单区别：y连续变化的话就是回归问题，y是离散的，就是分类问题。【粗】

————————————————————————————————————————————————————————————————————

线性回归

y=ax+b

房屋售价问题，考虑两个变量的话【房间大小，房间个数】：

考虑多个变量的话：

实际值与预测值的误差，则有

很多随机现象可以看成众多因素的独立影响的综合反应，往往近似服从正态分布。

 

则【上面已知】，将换成

则有，

似然函数为：

 

 取对数：

 

 

 

 得目标函数为：

 

 

梯度下降算法：

 

 

**************************************************分割线****************************************************

Logistic回归

 

 

 

 Logistic回归参数估计：

对数似然函数：