小白循环神经网络RNN LSTM 参数数量门单元 cell units timestep batch_size

2023年4月8日上午12:37 • 循环神经网络

小白循环神经网络RNN LSTM 参数数量门单元 cell units timestep batch_size

RNN循环神经网络 timestep batch_size
LSTM及参数计算
keras中若干个Cell例如LSTMCell

1.RNN循环神经网络

小白循环神经网络RNN LSTM 参数数量门单元 cell units timestep batch_size

先来解释一下 batch_size timestep

小白循环神经网络RNN LSTM 参数数量门单元 cell units timestep batch_size

样本数据：

小明爱学习

小王爱学习

小李爱学习

小花爱学习

通常样本数据会以(batch_size, time_step, embedding_size)送入模型，对应的可以是（4，5，100）

4表示批量送入也就是（小，小，小，小）第二批是（明，王，李，花）…

5表示时间步长，一句话共5个字

100表示词嵌入的维度

$H_t = phi(X_tW_{xh}+H_(t-1)W_{hh}+b_h)$

$X_t$ 输入假设一次输入4个字符，那么Xt的维度是4*100

$W_{xh}$ 对应的矩阵大小是 100*hidden_size

$X_tW_{xh}$ 输出大小即为4*hidden_size 也就是说W将词嵌入转换成隐藏层大小

$H_{t-1} $ 也就是 4*hidden_size

$W_{hh}$ 相乘大小就是 hidden_size * hidden_size

$b_h$ 偏执项大小是1*h通过广播的方式和前面相加

所以最终输出 $H_t$ 就是4*hidden_size

对于输出层：
$O_t = H_tW_{hq}+b_q$
$W_{hq}$ 相应的大小为hidden_size*labels_number

这里labels_number对应的是字典中字的个数，也就是说最终是要预测下一个字的概率

最终输出 $O_t$ 是4*labels_number

如果是分类任务再加上一个softmax 就得到此次批量4个各自的最大概率的值是什么。

2.LSTM及参数计算

对比上述RNN类比LSTM结构
小白循环神经网络RNN LSTM 参数数量门单元 cell units timestep batch_size

依然用上面例子，输入timestep=5 及一句话5个字。字嵌入维度是100及一个字用100维表示。设置LSTM(64)输出维度是64及隐含层输出是64维。

小白循环神经网络RNN LSTM 参数数量门单元 cell units timestep batch_size

总共三个门结构
$遗忘门：F_t = sigma(W_f[h_{t-1}, x_t] + b_f) \输入门：I_t = sigma(W_i[h_{t-1}, x_t] + b_i) \输出门：O_t = sigma(W_o[h_{t-1}, x_t] + b_o) \候选记忆细胞：tilde{C_{t}}=tanh(W_c[h_{t-1}, x_t] + b_o) \记忆细胞：C_t = F_tcdot C_{t-1}+I_tcdot tilde{C_{t}} \隐藏状态：H_t = O_t cdot tanh(C_t)$
$h_{t-1}$ 是上一个隐含层，也就是64。 $[h_{t-1}, x_t]$ 维度是（1，164）所以 $W_f$ 大小就是(164,64) ，偏执项64