对于线性回归的求解,我们之前推导了两种学习算法:一种基于梯度下降,一种基于正
规方程。
正则化线性回归的代价函数为:
如果我们要使用梯度下降法令这个代价函数最小化,因为我们未对theta0进行正则化,所以梯
度下降算法将分两种情形:
对上面的算法中???? = 1,2, . . . , ???? 时的更新式子进行调整可得:
可以看出,正则化线性回归的梯度下降算法的变化在于,每次都在原有算法更新规则的
基础上令????值减少了一个额外的值。
我们同样也可以利用正规方程来求解正则化线性回归模型,方法如下所示:
图中的矩阵尺寸为 (???? + 1) ∗ (???? + 1)。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:吴恩达机器学习笔记21-正则化线性回归(Regularized Linear Regression) - Python技术站