使用 Keras + CNN 识别 MNIST 手写数字

导入模块：

from keras.datasets import mnist
from keras.utils import np_utils
import numpy as np
import matplotlib.pyplot as plt
from keras.models import Sequential
from keras.layers import Dense,Dropout,Flatten,Conv2D,MaxPooling2D

下载手写数据集：

(x_Train,y_Train),(x_Test,y_Test)=mnist.load_data()
print(x_Train.shape)
print(y_Train.shape)

print(x_Test.shape)
print(y_Test.shape)

使用 Keras + CNN 识别 MNIST 手写数字

训练数据60000个，长度和宽度都是28，标签也是6000个。

测试数据10000个。

图形化数据集，查看前10个数据集：

def polt_images_label_prediction(images,labels,idx,num=10):
    fig=plt.gcf()
    fig.set_size_inches(12,14)
    for i in range(num):
        ax=plt.subplot(5,2,1+i)
        ax.imshow(images[idx],cmap='binary')
        title='label='+str(labels[idx])
        ax.set_title(title,fontsize=10)
        ax.set_xticks([])
        ax.set_yticks([])
    plt.show()
polt_images_label_prediction(x_Train,y_Train,0)

使用 Keras + CNN 识别 MNIST 手写数字

数据预处理：

将features以reshape转化为6000*28*28*1的4维矩阵，并将其标准化。

x_Train4D=x_Train.reshape(x_Train.shape[0],28,28,1).astype('float32')
x_Test4D = x_Test.reshape(x_Test.shape[0], 28, 28, 1).astype('float32')
x_Train4D_normalize = x_Train4D / 255
x_Test4D_normalize = x_Test4D / 255

数据预处理，对标签进行one-hot编码处理：

#未转化第一个数是 5
print(y_Train[:1])
y_TrainOneHot = np_utils.to_categorical(y_Train)
#转化  One-Hot Encoding 都是以0 1 表示，5 在第六个位置
print(y_TrainOneHot[:1])

使用 Keras + CNN 识别 MNIST 手写数字

建立模型：

#建立一个 Sequential 线性堆叠模型
model=Sequential()
#建立第一个卷积层，input_shape 输入数字图像大小为 28*28*1， filters 卷积核个数 16 个，kernel_size 卷积核大小 3*3
#padding 是否零填充 same 表示填充， activation 激活函数 relu
model.add(Conv2D(filters = 16,
          kernel_size = (3, 3),
          padding = 'same',
          input_shape = (28, 28, 1),
          activation = 'relu'))
#建立第一个池化层 pool_size 池化窗口 2
model.add(MaxPooling2D(pool_size = (2, 2)))
#建立第二个卷积层， filters 卷积核个数 36 个，kernel_size 卷积核大小 3*3
#padding 是否零填充 same 表示填充， activation 激活函数 relu
model.add(Conv2D(filters = 36,
                kernel_size = (3, 3),
                padding = 'same',
                activation = 'relu'))
#建立第二个池化层 pool_size 池化窗口 2
model.add(MaxPooling2D(pool_size = (2, 2)))
#加入Dropout避免过度拟合
model.add(Dropout(0.25))
#建立平坦层，将多维向量转化为一维向量
model.add(Flatten())
#建立隐藏层，隐藏层有 128 个神经元， activation 激活函数用 relu
model.add(Dense(128, activation = 'relu'))
#加入Dropout避免过度拟合
model.add(Dropout(0.25))
#建立输出层，一共有 10 个神经元，因为 0 到 9 一共有 10 个类别， activation 激活函数用 softmax 这个函数用来分类
model.add(Dense(10, activation = 'softmax'))

查看模型摘要：

print(model.summary())

使用 Keras + CNN 识别 MNIST 手写数字

训练模型：

#定义训练模型， loss 损失函数用 categorical_crossentropy， optimizer 优化器用 adam， metrics 度量用 accuracy
model.compile(loss = 'categorical_crossentropy', optimizer = 'adam', metrics = ['accuracy'])
#开始训练模型， x 是训练数据集， y 是训练数据集的标签， validation_split 是把训练数据集分为 8 份训练数据集 2 份验证集
#epochs 是迭代次数 20， batch_size 是批量 256， verbose 为 2 显示训练过程
train_history = model.fit(x = x_Train4D_normalize,
                          y = y_TrainOneHot,
                         validation_split = 0.2,
                         epochs = 20,
                         batch_size = 256,
                         verbose = 2)

使用 Keras + CNN 识别 MNIST 手写数字

查看训练模型loss和accuracy：

def show_train_history(train_history, train, validation):
    plt.plot(train_history.history[train])
    plt.plot(train_history.history[validation])
    plt.title('Train History')
    plt.ylabel(train)
    plt.xlabel('Epoch')
    plt.legend(['train', 'validation'], loc = 'upper left')
    plt.show()
show_train_history(train_history, 'loss', 'val_loss')
show_train_history(train_history, 'accuracy', 'val_accuracy')

使用 Keras + CNN 识别 MNIST 手写数字

评估模型，准确率为99.21%。

scores = model.evaluate(x_Test4D_normalize, y_TestOneHot)
print(scores[1])

使用 Keras + CNN 识别 MNIST 手写数字

预测模型：

#预测测试集第一个数字
prediction = np.argmax(model.predict(x_Test4D_normalize[:1]))
print('预测值：', prediction)
print('真实值：', np.argmax(y_TestOneHot[:1]))

使用 Keras + CNN 识别 MNIST 手写数字

【分析】

由训练过程数据以及精度图卡伊看出，当迭代到10次的时候就达到了最高精度，后面的另外10次迭代并没有让精度变得更好。所以把epochs改成10再仿真一次：

使用 Keras + CNN 识别 MNIST 手写数字

模型评估，准确率为99.11%，比迭代20次时准确率降低了0.1%。

使用 Keras + CNN 识别 MNIST 手写数字

看网上说，训练模型的时候先用小数据大参数，先让它过拟合，再慢慢调小，filter能用256就不用128，所以我先调一下filter参数看看是否会过拟合。

学到的一条经验就是在看训练参数的时候不要看准确率这个指标，而是要看损失函数这个指标，毕竟优化的就是loss。

使用 Keras + CNN 识别 MNIST 手写数字

两层的卷积核个数分别改成了32和64.

使用 Keras + CNN 识别 MNIST 手写数字

但是并没有过拟合。

使用 Keras + CNN 识别 MNIST 手写数字

准确率99.16%也并没有什么大的变化。

所以增大卷和核数量，改为64和128。

使用 Keras + CNN 识别 MNIST 手写数字

准确率99.14%，这是已经过拟合了吧，毕竟训练的accuracy和测试的val_accuracy分别是99.72%和99.15%差的还挺多的。

再调大参数试试：

使用 Keras + CNN 识别 MNIST 手写数字

准确率99.32%。

感觉纠结与此已然没有太多意义，本身就是想练习一下调参。所以打算把参数改成原来的，并且增加一层卷积层试试：

#建立第三个卷积层， filters 卷积核个数 64 个，kernel_size 卷积核大小 3*3
#padding 是否零填充 same 表示填充， activation 激活函数 relu
model.add(Conv2D(filters = 64,
                kernel_size = (3, 3),
                padding = 'same',
                activation = 'relu'))
#建立第三个池化层 pool_size 池化窗口 2
model.add(MaxPooling2D(pool_size = (2, 2)))