VGG和GoogleLeNet发明的时候，batch normalization还没有出现，因此难以使得这些网络收敛
VGG预训练了11层的网络，然后才得到16/19层的
GoogleLeNet添加了两个auxiliary classification part
有了batch norm以后，就不再需要那样做了
----------------------------------------------------------------------------------------------------------------------
ResNet中，当某层权重参数为0，则输出为0，再加上输入，即为Identity block。即这层没有用。
反向传播时，由于有skip connection，则梯度传播也就有了捷径，可以避免梯度消失。
one to many : image captioning
many to one: sentiment analysis
many to many: translation
many to many: 对视频的每一帧进行分类，输入输出个数一致
本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：第十讲–循环神经网络–课时21 - Python技术站
微信扫一扫 
支付宝扫一扫 