Keras kernel_initializer

一、总结

一句话总结：

(1)、keras不同的层可能使用不同的关键字来传递初始化方法，一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer

(2)、model.add(Conv2D(64,(3,3),strides=(1,1),padding='same',activation='relu',kernel_initializer='uniform'))

二、Keras kernel

转自或参考：Keras kernel
http://blog.csdn.net/hyl999/article/details/84035578

初始化方法

初始化方法定义了对Keras层设置初始化权重的方法

不同的层可能使用不同的关键字来传递初始化方法，一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer，例如：

model.add(Dense(64,
                kernel_initializer='random_uniform',
                bias_initializer='zeros'))

一个初始化器可以由字符串指定（必须是下面的预定义初始化器之一），或一个callable的函数，例如

from keras import initializers

model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01)))

# also works; will use the default parameters.
model.add(Dense(64, kernel_initializer='random_normal'))

Initializer

Initializer是所有初始化方法的父类，不能直接使用，如果想要定义自己的初始化方法，请继承此类。

预定义初始化方法

Zeros

keras.initializers.Zeros()

全零初始化

Ones

keras.initializers.Ones()

全1初始化

Constant

keras.initializers.Constant(value=0)

初始化为固定值value

RandomNormal

keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))

正态分布初始化

mean：均值
stddev：标准差
seed：随机数种子

RandomUniform

keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)

均匀分布初始化 minval：均匀分布下边界 maxval：均匀分布上边界 * seed：随机数种子

TruncatedNormal

keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)

截尾高斯分布初始化，该初始化方法与RandomNormal类似，但位于均值两个标准差以外的数据将会被丢弃并重新生成，形成截尾分布。该分布是神经网络权重和滤波器的推荐初始化方法。

mean：均值
stddev：标准差
seed：随机数种子

VarianceScaling

keras.initializers.VarianceScaling(scale=1.0, mode='fan_in', distribution='normal', seed=None)

该初始化方法能够自适应目标张量的shape。

当distribution="normal"时，样本从0均值，标准差为sqrt(scale / n)的截尾正态分布中产生。其中：

* 当```mode = "fan_in"```时，权重张量的输入单元数。
* 当```mode = "fan_out"```时，权重张量的输出单元数
* 当```mode = "fan_avg"```时，权重张量的输入输出单元数的均值

当distribution="uniform"时，权重从[-limit, limit]范围内均匀采样，其中limit = limit = sqrt(3 * scale / n)

scale: 放缩因子，正浮点数
mode: 字符串，“fan_in”，“fan_out”或“fan_avg”fan_in", "fan_out", "fan_avg".
distribution: 字符串，“normal”或“uniform”.
seed: 随机数种子

Orthogonal

keras.initializers.Orthogonal(gain=1.0, seed=None)

用随机正交矩阵初始化

gain: 正交矩阵的乘性系数
seed：随机数种子

参考文献：Saxe et al.

Identiy

keras.initializers.Identity(gain=1.0)

使用单位矩阵初始化，仅适用于2D方阵

gain：单位矩阵的乘性系数

lecun_uniform

lecun_uniform(seed=None)

LeCun均匀分布初始化方法，参数由[-limit, limit]的区间中均匀采样获得，其中limit=sqrt(3 / fan_in), fin_in是权重向量的输入单元数（扇入）

seed：随机数种子

参考文献：LeCun 98, Efficient Backprop

lecun_normal

lecun_normal(seed=None)

LeCun正态分布初始化方法，参数由0均值，标准差为stddev = sqrt(1 / fan_in)的正态分布产生，其中fan_in和fan_out是权重张量的扇入扇出（即输入和输出单元数目）

seed：随机数种子

参考文献：

Self-Normalizing Neural Networks Efficient Backprop

glorot_normal

glorot_normal(seed=None)

Glorot正态分布初始化方法，也称作Xavier正态分布初始化，参数由0均值，标准差为sqrt(2 / (fan_in + fan_out))的正态分布产生，其中fan_in和fan_out是权重张量的扇入扇出（即输入和输出单元数目）

seed：随机数种子

参考文献：Glorot & Bengio, AISTATS 2010

glorot_uniform

glorot_uniform(seed=None)

Glorot均匀分布初始化方法，又成Xavier均匀初始化，参数从[-limit, limit]的均匀分布产生，其中limit为sqrt(6 / (fan_in + fan_out))。fan_in为权值张量的输入单元数，fan_out是权重张量的输出单元数。

seed：随机数种子