-
多对1
例如情感分类,根据句子预测情感。
文档分类,输出情感,但是下面的结构存在上下文、长时间的序列损失的缺点。 -
一对多
看图描述文字任务。找到CNN特征图的图片之间的对应关系。 -
多对多
机器翻译
Sequence to Sequence
编码器和解码器,等价与 many-to-One + One-to-many ,缺点1是ht存在信息瓶颈, 缺点2是在推断的时候,需要递归的进行推断,会形成误差累积(解决方法:Random Sampling、Greedy Search、树搜索 Beam Search)。
- Beam Search
根据输入的序列x,给出若干个输出的备选。
Beam Search 不是端到端的,不可微,类似 Pooling是不可微的。
语言建模
也称为自回归的模型:输入和输出的长度是一样的,序列时间的间隔是-1,使用滑动窗口。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:循环神经网络常见的结构(学习笔记) - Python技术站