这节课的推导真心hold不住了。按照自己的理解记下仅看明白的东西吧。或许还有第二遍、第三遍整理呢。
主要讲了两个问题:
学习率α如何确定?
使用固定的学习率还是变化的学习率?
学习率设置为多大比较好?
下降的方向如何处理,除了梯度方向,有没有其他方向?
可行方向和梯度方向有何关系?
先上结论:
使用固定的学习率还是变化的学习率?
使用变化的学习率好。学习率的确定可以这样:在参数迭代的开始阶段,由于与最优值差距较大,可以使用较大的学习率;在迭代后期,使用较小的学习率增加稳定性和精度。
学习率设置为多大比较好?
构造一个关于α的函数,然后用二分线性搜索或回溯搜索来求得当前最优的学习率α。注意:当前最优。
那如何构造学习率α?
推导...
可行方向和梯度方向有何关系?
就是拟牛顿方向,我的理解是,梯度是线性的,牛顿是非线性的。梯度线性下降或者牛顿非线性下降。
********************************************分割线**********************************************
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:机器学习(三)梯度下降与拟牛顿 - Python技术站