@

目录

PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

L-1正则化实现

PyTorch没有L-1正则化，所以用下面的方法自己实现
PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

L-2正则化

一般用L-2正则化
weight_decay 表示\(\lambda\)
PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

动量

PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm
moment参数设置上式中的\(\beta\),表式上一时刻梯度所占的比例0~1之间PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

学习率衰减

当loss不在下降时的学习率衰减

PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

固定循环的学习率衰减

PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

Dropout

PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm
Dropout在train时使用，在test时要手动关闭
PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

Batch Norm

PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm
PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm