1. 正则化层
-
正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。 网络优化的损失函数也包括这些惩罚项。(但不包括诸如Dropout/人为加Noise这类的正则化)。惩罚是以层为对象进行的。具体的 API 因层而异,但
Dense
,Conv1D
,Conv2D
和Conv3D
这些层具有统一的 API。 -
正则化器开放 3 个关键字参数:
keras.regularizers.Regularizer
的3个实例:-
kernel_regularizer
-
bias_regularizer
-
activity_regularizer
from keras import regularizers model.add(Dense(64, input_dim=64, kernel_regularizer=regularizers.l2(0.01), activity_regularizer=regularizers.l1(0.01)))
-
-
keras中可用的正则
keras.regularizers.l1(0.) keras.regularizers.l2(0.) keras.regularizers.l1_l2(l1=0.01, l2=0.01)
2. 自定义正则化层
-
任何输入一个权重矩阵、返回一个损失贡献张量的函数,都可以用作正则化器,例如:
from keras import backend as K def l1_reg(weight_matrix): return 0.01 * K.sum(K.abs(weight_matrix)) model.add(Dense(64, input_dim=64, kernel_regularizer=l1_reg))
-
另外,也可以用面向对象的方式来编写正则化器的代码,例子见 keras/regularizers.py 模块。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:keras_15_正则化Regularizers - Python技术站