- 双向RNN可以让某一单元的输出不仅可以考虑之前的信息,也可以考虑后面时间步的信息。前向传播分为从左向右,从右向左两部分,这样,隐藏层神经元会产生两个激活值,均对输出有影响。
- 对很多NLP问题,双向带有LSTM的RNN用的最多。缺点是必须获取整个序列才能获得输出。
- 如果要学习复杂的函数,需要将更多层堆叠起来构建更深的模型。a[l]<t>,l表示l层,t表示时间步。
- 一般在垂直方向三层以后不再水平连接。尽管看起来没有多少循环层,但是需要大量的时间训练。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:双向、深层循环神经网络 - Python技术站