第十讲–循环神经网络–课时21

VGG和GoogleLeNet发明的时候，batch normalization还没有出现，因此难以使得这些网络收敛

VGG预训练了11层的网络，然后才得到16/19层的

GoogleLeNet添加了两个auxiliary classification part

有了batch norm以后，就不再需要那样做了

----------------------------------------------------------------------------------------------------------------------

ResNet中，当某层权重参数为0，则输出为0，再加上输入，即为Identity block。即这层没有用。

反向传播时，由于有skip connection，则梯度传播也就有了捷径，可以避免梯度消失。

one to many : image captioning

many to one: sentiment analysis

many to many: translation

many to many: 对视频的每一帧进行分类，输入输出个数一致