机器学习之逻辑回归详解

目录

• 线性回归
  • 方程
  • 损失函数
  • 求导
  • 令导数为0，得到
• 逻辑回归
  • 逻辑回归函数
  • 逻辑回归函数如何解决二元分类过程？
  • 逻辑回归的损失函数
  • 梯度下降法
• 为什么?（逻辑回归的损失函数）
  • 似然函数
  • 推导损失函数
  • 推导出梯度值

参考地址：
https://www.zhihu.com/question/65350200
https://github.com/GreedyAIAcademy/Machine-Learning
https://zhuanlan.zhihu.com/p/70587472

线性回归

方程

损失函数

求导

令导数为0，得到

逻辑回归

逻辑回归函数

函数的图像：

逻辑回归函数如何解决二元分类过程？

当P(y=1|x)的值>0.5时输出1,否则输出0

逻辑回归的损失函数

梯度值：

梯度下降法

为什么?（逻辑回归的损失函数）

似然函数

假设分段函数f(x)结果只两个值0，1，为1的概率为p，为0的概率就是1-p，规范一些，可以描述如下：

我们把训练数据(X,y)代入公式，让矩阵中所有的p(1-p)相乘。

为什么要相乘？有人说是因为要用一个函数将y=0和y=1的形式统一起来，其实不准确，应该是为了“最大似然估计”。
参考:https://www.zhihu.com/question/65350200

推导损失函数

通过最大似然估计，推导出损失函数

推导出梯度值

第一步，还是通过最大似然函数求损失函数

第二部，对损失函数针对权值w求偏导数

获得的结果即梯度下降法中的梯度值。