浅谈keras中Dropout在预测过程中是否仍要起作用

Dropout介绍

在深度学习中，为了防止模型出现过拟合现象，我们通常会采用Dropout技术，其本质是“随机失去神经元连接”，即在训练过程中以一定的概率随机使一些神经元失效，这可以强制让每个神经元都不能太依赖其它神经元。

注意：Dropout只在模型训练时才会被应用，而在预测时，则不需要再进行随机失活。

Dropout在预测过程中不需要起作用

在实现Dropout时，我们通常使用Keras的Dropout层，如下代码所示：

from keras.layers import Dropout

model.add(Dropout(0.5))

在训练模型时，我们一般使用fit函数：

model.fit(x_train, y_train, epochs=10, batch_size=32)

在此过程中，Keras会自动应用Dropout，在每个epoch的训练过程中随机失活部分神经元连接。

但是在使用我们完成训练后，我们需要部署模型进行预测，此时Dropout应该不会再被应用：

y_pred = model.predict(x_test)

如上所示，此时我们是不需要再在模型中使用Dropout，因为我们所需要的是整个网络的输出结果，而不是单个神经元的输出结果。

示例说明1

假设我们有一个语音识别任务，我们采集了一些人们的说话录音（wav格式），我们希望通过深度学习来实现识别，我们的模型如下：

from keras.models import Sequential
from keras.layers import Dense, Dropout

model = Sequential()
model.add(Dense(512, activation='relu', input_shape=(1024,)))
model.add(Dropout(0.5))
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

在训练过程中，我们采用了Dropout技术来防止过拟合，我们的训练代码如下：

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=10, batch_size=32)

训练完成之后，我们使用下面的代码对未知的语音文件进行识别：

y_pred = model.predict(x_test)

在预测过程中，我们不需要再使用Dropout，因此我们不需要在模型中使用Dropout层。

示例说明2

假设我们有一个图像分类任务，我们需要对一个包含28×28像素手写数字的图像进行分类。 假设我们的模型如下：

from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Dropout, Flatten, Dense

model = Sequential()
model.add(Conv2D(32, kernel_size=(3,3), activation='relu', input_shape=(28,28,1)))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Conv2D(64, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

我们的模型包括两个卷积层，两个最大值池化层，和两个Dropout层。

在训练过程中，Dropout会被自动应用：

model.compile(loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers.Adadelta(), metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, verbose=1, validation_data=(x_test, y_test))

在预测过程中，我们不需要再使用Dropout，因此我们不需要在模型中使用Dropout层。最终的预测代码如下：

y_pred = model.predict(x_test)

总结

在Keras框架中，Dropout只用在模型训练时，而在预测时应关闭Dropout层。注意，在深度学习中，我们不能简单地将Dropout看作一种神经网络正则化方法，而忽略了其实质。为达到更好的预测效果，我们应该整体梳理我们要解决的问题，然后相应地设计和训练模型，唯有这样，我们才能真正把深度学习应用得淋漓尽致。