LR（对数几率回归）

函数为\(y=f(x)=\frac{1}{1+e^{-(w^{T}x+b)}}\)。 由于输出的是概率值\(p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}},p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}\)，所以求解使用极大似然估计来求解参数\(w,b\)。
为了方便表示，记\(\widehat{w}=(w;b),\widehat{x}=(x;1)\)
写出似然函数$$\prod_{i=1}{m}p(y=1|\widehat{x}_{i},\widehat{w}){y_{i}}p(y=0|\widehat{x}{i},\widehat{w})^{1-y{i}}$$
对数似然函数$$ l(\widehat{w})=\sum_{i=1}^{m}y_{i}\ln p(y=1|\widehat{x}{i},\widehat{w})+(1-y{i})\ln p(y=0|\widehat{x}_{i},\widehat{w})$$

\[l(\widehat{w})=\sum_{i=1}^{m}y_{i}(\widehat{w}^{T}\widehat{x}_{i})-\ln (1+e^{\widehat{w}^{T}\widehat{x}_{i}})
\]

要让每个样本属于其真实值的概率越大越好，故对\(-l(\widehat{w})\)最小化，由于\(l(\widehat{w})\)是关于\(\widehat{w}\)的高阶可导连续函数，可用梯度下降法和牛顿法求解,最优解为$$\widehat{w}^{*}=\underset{\widehat{w}}{\arg min}-l(\widehat{w})$$