考虑 的输入图像:

  • 全连接,隐层神经元的数目为
  • 卷积,卷积核的大小为 时,
    • 步长为 10,表示的是输入图像可划分的块数,也即经卷机作用后的输出图像;
    • 步长为 1,
    • 在不考虑步长的前提下,可近似将待学习的参数的数目视为
  • 1. 全连接层对参数个数的显著提升

    现考虑图像输入层和 500 个隐层神经元的全连接:

    • MNIST:
    • CIfar:,极大地降低了参数的规模;

    参数增多导致计算速度减慢,且很容易导致过拟合。

    2. 卷积的共享参数特性

    通过一个某一卷积核(过滤器),将一个 本次卷积操作,共需要的参数为:

    +5 表示偏值项参数,

    对于 cifar-10 数据集,输入层矩阵的维度是 深度为 16,则此卷基层的参数为:

    注意区分卷积层的参数,与当前输入层与卷积层的连接的个数(也即参数的个数与连接的数目):

    比如对于 LeNet-5 网络, 的特征映射:

    • 卷积层的参数:
      • 核的长*核的宽*输入的通道数*输出的通道数;
    • 卷积层共
      • 连接的数目与输入层的大小无关;

    3. 卷积输出矩阵尺寸的大小

    通过使用填充(padding,比如 zero-padding),或者使用过滤器移动的步长来结果输出矩阵的大小。

    下面的公式给出在同时使用全零填充时结果矩阵的大小:

    如果不使用填充: