【机器学习】李宏毅机器学习-Keras-Demo-神经网络手写数字识别与调参

参考：

李宏毅机器学习-Keras-Demo
深度学习入门实践_十行搭建手写数字识别神经网络
手写数字识别---demo（有小错误）

编程环境：

操作系统：win7 - CPU
anaconda-Python3-jupyter notebook
tersonFlow：1.10.0
Keras：2.2.4

背景：

视频里宝可梦大师提供的部分参数设置不能得到好的结果，这里记录一下后续调参

1-载入数据报错的问题：

载入数据运行时报错：[WinError 10054] 远程主机强迫关闭了一个现有的连接
【问题解决方案】Keras手写数字识别-ConnectionResetError: [WinError 10054]
后续是：最终仍然报错，没办法只好搭梯子硬着头皮在线载入数据，最后也成了，赞啦~

2-测试程序是否正常

打印一下某个矩阵的形状，没有报错一切正常

【机器学习】李宏毅机器学习-Keras-Demo-神经网络手写数字识别与调参

3-运行原始代码

按照李宏毅老师视频里讲的全是坑代码运行看看效果

【机器学习】李宏毅机器学习-Keras-Demo-神经网络手写数字识别与调参

4-对神经网络进行调参

改动地方主要为：

激励函数由sigmoid改为relu
loss function由mse改为categorical_crossentropy
增加了Dropout，防止过拟合

改动后的代码为

# 选model
model = Sequential()

# 搭建神经网络
# 改动：4点
# 1-中间层units由633改为700
# 2-激活函数由sigmoid改为relu
# 3-原四个Dense，删去一个中间层，只留三个Dense
# 4-在三个Dense的每两个Dense中间加入Dropout
# batch-epochs=100,20时，三Dense好于四Dense
# batch-epochs=1,2时，三Dense好于四Dense
model.add(Dense(input_dim=28*28, units=700, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(units=700, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(units=10, activation='softmax'))

# 自选loss Function等参数
# 改动：1点
# 1-loss function由mse改为categorical_crossentropy
model.compile(loss='mse', optimizer=SGD(lr=0.1), metrics=['accuracy'])

# train模型
# 改动：1点
# 1-参数列表最后加一个validation_split（交叉验证？）
# 2-batch-size=1, epochs=2时，acc变为0.9314(3个Dense)，0.9212（4个Dense）
model.fit(x_train, y_train, batch_size=1, epochs=2, validation_split=0.05)

# 测试结果，并打印accuracy
result = model.evaluate(x_test, y_test)
print('nTest loss:', result[0])
print('nAccuracy:', result[1])