解读torch.nn.GRU的输入及输出示例

请看下面的详细攻略：

解读torch.nn.GRU的输入及输出示例

简介

在进行深度学习的过程中，神经网络中的循环神经网络（RNN）常常用于处理序列数据。而GRU，作为RNN中的一种，也是常见的序列模型之一。在PyTorch中，我们可以使用torch.nn.GRU模块来搭建GRU模型。

本攻略将针对torch.nn.GRU的输入及输出进行详细讲解，并提供两条示例说明。

输入参数

torch.nn.GRU中常用的参数如下：

• input_size：输入数据的特征维度
• hidden_size：GRU模型中隐藏状态的维度
• num_layers： GRU模型的层数
• bias：是否使用偏置，默认为True
• batch_first：是否将输入数据的batch维度置为第一维，默认为False
• dropout：在非循环权重之间应用丢弃。默认为0.0
• bidirectional：是否使用双向GRU，默认为False

输出结果

torch.nn.GRU模块的输出为output和h_n两个元素，其中：

• output：对于每个时间步 t ，都对输入序列的最后一个元素输出一个 hidden_state , 最后输出一个 (seq_length, batch, input_size) 的输出张量
• h_n：最后一个时间步得到的 hidden_state , 数据格式为 (num_layers * num_directions, batch, hidden_size)

示例1

接下来我们使用一条示例对torch.nn.GRU进行解读。

假设我们有如下输入数据：

import torch

# 假定 batch_size = 2, sequence_length = 3, input_size = 5
inputs = torch.randn(2, 3, 5)

现在，我们使用torch.nn.GRU来搭建一个单层的GRU模型，并对inputs进行处理：

import torch.nn as nn

# 假定 hidden_size = 4
gru = nn.GRU(input_size=5, hidden_size=4, num_layers=1)

output, h_n = gru(inputs)

接下来，我们来详细解读下模型的输出结果：

print('output: ', output.size())  # output:  torch.Size([3, 2, 4])
print('h_n: ', h_n.size())  # h_n:  torch.Size([1, 2, 4])

对于output，我们可以看到它是一个3x2x4的张量。其中，3表示序列长度，2表示batch大小，4表示隐藏状态维度。

对于h_n，我们可以看到它是一个1x2x4的张量，其中1表示GRU模型的层数，2表示batch大小，4表示隐藏状态维度。因为是单层GRU，所以h_n的第一维是1。

示例2

下面再来看一条示例。这次我们改变batch_first参数的值，使得输入数据的batch维度置为第一维。

我们使用如下输入数据和参数：

import torch

# 假定 batch_size = 2, sequence_length = 3, input_size = 5
inputs = torch.randn(2, 3, 5)

import torch.nn as nn

# 假定 hidden_size = 4
gru = nn.GRU(input_size=5, hidden_size=4, num_layers=1, batch_first=True)

output, h_n = gru(inputs)

我们可以通过如下代码，查看其输出结果：

print('output: ', output.size())  # output:  torch.Size([2, 3, 4])
print('h_n: ', h_n.size())  # h_n:  torch.Size([1, 2, 4])

上述代码的输出结果与示例1有所不同。这是因为当我们将batch_first参数设置为True后，输入数据的batch维度会被置为第一维，就像这样：

inputs = inputs.transpose(0, 1)  # 将batch维度置为第一维

GRU模型会根据新的输入数据进行处理，并输出与之对应的output和h_n。其中，output是一个2x3x4的张量，而h_n则保持不变，大小为1x2x4。

笔者以上述两个示例解释了torch.nn.GRU的输入及输出示例，希望对您有所帮助。