Logistic Regression算法非常著名,据说在工程实际中用得非常多。作为菜鸟一只,我在dragonstar课上第一次耳闻,由于Yu Kai老师讲得快,当时没怎么搞懂。今天听了CS229的课,找到了牛人的笔记和程序,才算略懂一点。

  Logistic Regression是一种回归算法,它跟Linear Regression回归有一定的不同。它的y服从Bernoulli分布、取值为0或1的离散随机变量,而Linear Regression的y是服从高斯分布的连续随机变量;对于Linear Regression,它的h函数是特征x的线性组合,而Logistic Regression的h函数是是特征x线性组合的sigmoid函数;它俩回归(训练)的方法也不一样:Linear Regression是通过最小化平方损失函数(quadratic loss function)来得到权重参数theta,对于Logistic Regression,也可以借鉴linear的loss function,但用在Logistic Regression该函数“非凸”,于是采用了最大化似然函数p(y|x)(我认为这个叫法不妥,p(x|y)才是似然函数,p(y|x)是后验概率)的办法来解决。实际上,最大化似然函数是一种通用的方法,如果最大化Linear Regression中y的似然函数,也会得到最小化平方损失函数(quadratic loss function)。

  由于Logistic Regression的输出变量y只有0或1,所以广泛地被用在了两类分类问题中。如果y=1~k,则可以解决k类分类问题,也就是后面要研究的SoftMax算法。

参考链接:

1、http://v.163.com/movie/2008/1/E/D/M6SGF6VB4_M6SGHKAED.html

2、http://52opencourse.com/125/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E5%85%AD%E8%AF%BE-%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92-logistic-regression

3、http://blog.csdn.net/pennyliang/article/details/7045372