神经网络与深度学习[邱锡鹏] 第四章习题解析

角度1：

角度2：

即：接近 0 的输入在 sigmoid 型函数上的导数较大，梯度下降速度较快

4-2

异或问题：
异或（XOR）问题可以看做是单位正方形的四个角，响应的输入模式为（0,0），（0,1），（1,1），（1,0）。第一个和第三个模式属于类0
图示为：
具体：

4-3

举例说明：

解决方法有[书中86-88页]：
使用带泄露的ReLU
使用带参数的ReLU
使用ELU函数
使用Softplus函数

4-4

4-5

若有????层隐藏层，易得用于连接输入至输出的参数矩阵共有????+1层。
对于全连接网络，每一个隐藏层中的单个神经元都会与前一层的所有输出产生连接，并且每一个神经元都带有偏置,N+1个。
连接输入层与第一个隐藏层的参数量为????0 × ???? ÷ ????
隐藏层内部连接的参数量为(????-1) × ????2 ÷ ????2
连接????层隐藏层和输出层的参数量为???? ÷ ????
偏置层参数量为N
参数量 M = ????0 × ???? ÷ ???? + (????-1) × ????2 ÷ ????2 + ???? ÷ ???? + N + 1

4-6[崩住了]

证明通用近似定理对于具有线性输出层和至少一个使用 ReLU 激活函数的隐藏层组成的前馈神经网络，也都是适用的．

4-7

4-8

因为如果参数都设为0，在第一遍前向计算的过程中所有的隐藏层神经元的激活值都相同。在反向传播时，所有权重更新也都相同，这样会导致隐藏层神经元没有区分性。这种现象称为对称权重现象。

4-9