PyTorch报”AttributeError: ‘NoneType’ object has no attribute ‘dtype’ “的原因以及解决办法

问题描述

在使用PyTorch进行模型训练时，有时会遇到报"AttributeError: 'NoneType' object has no attribute 'dtype' "的错误，例如：

import torch

x = torch.randn(2, 3)
y = torch.randn(2, 3)
z = torch.matmul(x, y)
print(z.dtype)

# 报错信息
# -----------------------------------------------------------------------------
# AttributeError                            Traceback (most recent call last)
# <ipython-input-2-2eaf11c75a9b> in <module>()
#       3 y = torch.randn(2, 3)
#       4 z = torch.matmul(x, y)
# ----> 5 print(z.dtype)
#
# AttributeError: 'NoneType' object has no attribute 'dtype'

问题分析

报错信息提示，z对象的类型为NoneType，即z并未成功计算出matmul的结果。这很有可能是因为x和y的维度不匹配，无法进行矩阵乘法。

解决办法

检查数据维度是否匹配

在使用矩阵乘法时，需要保证前一个矩阵的列数和后一个矩阵的行数相等。因此，我们需要检查x和y的维度是否满足要求。下面的代码显示x和y的维度都是(2, 3)，符合矩阵乘法的要求：

print(x.shape)  # torch.Size([2, 3])
print(y.shape)  # torch.Size([2, 3])

使用torch.matmul代替@运算符

在PyTorch中，我们可以使用@运算符来进行矩阵乘法，即 z = x @ y。但是，在某些情况下，可能会出现上面的错误。这时，我们可以尝试使用torch.matmul()函数来进行矩阵乘法，如下所示：

z = torch.matmul(x, y)

使用torch.mm代替torch.matmul

如果仍然出现同样的错误，我们可以尝试使用torch.mm()函数来进行矩阵乘法，如下所示：

z = torch.mm(x, y.T)

其中，.T表示将y的行和列进行转置。这是因为torch.mm()函数中，第一个矩阵的列数必须等于第二个矩阵的行数，因此需要将y进行转置。

使用浮点数类型转换

在某些情况下，数据类型的问题也可能导致上述错误。例如，如果x和y的数据类型为整型，而进行矩阵乘法时需要使用浮点数类型，就会出现上述错误。此时，我们可以将x和y的数据类型转换为浮点数类型，例如：

x = x.float()
y = y.float()

综上所述，可以尝试以下几种解决办法：

• 检查数据维度是否匹配；
• 使用torch.matmul()代替@运算符；
• 使用torch.mm()代替torch.matmul；
• 使用浮点数类型转换。