• 多对1
    例如情感分类,根据句子预测情感。
    文档分类,输出情感,但是下面的结构存在上下文、长时间的序列损失的缺点。
    循环神经网络常见的结构(学习笔记)

  • 一对多
    看图描述文字任务。找到CNN特征图的图片之间的对应关系。
    循环神经网络常见的结构(学习笔记)

  • 多对多
    机器翻译

Sequence to Sequence
编码器和解码器,等价与 many-to-One + One-to-many ,缺点1是ht存在信息瓶颈, 缺点2是在推断的时候,需要递归的进行推断,会形成误差累积(解决方法:Random Sampling、Greedy Search、树搜索 Beam Search)。
循环神经网络常见的结构(学习笔记)

  • Beam Search
    根据输入的序列x,给出若干个输出的备选。
    p(y1,...yTx)=p(y1x)p(y2x,y1)...P(yTx,y1,...,yT1)p(y_1,...y_T|x) = p(y_1|x)cdot p(y_2|x, y_1)...P(y_T|x,y_1, ..., y_{T-1} )
    循环神经网络常见的结构(学习笔记)
    Beam Search 不是端到端的,不可微,类似 Pooling是不可微的。

语言建模
也称为自回归的模型:输入和输出的长度是一样的,序列时间的间隔是-1,使用滑动窗口。
循环神经网络常见的结构(学习笔记)