对Pytorch 中的contiguous理解说明

PyTorch中的contiguous是很常见的一个方法，并且在使用PyTorch进行深度学习时很重要。

什么是contiguous

contiguous方法用来判断张量是否是内存上连续存储的，即张量的每个元素在内存中是按照连续顺序存储的，并且元素之间没有空隙。如果张量是内存上连续存储的，那么对于一些操作如transpose或reshape等操作，就可以直接重构内存中的元素，而无需对原有的数据进行拷贝。

在PyTorch中，通常情况下，我们创建的张量都是不连续的，这是由于内存的分配方式决定的。

为什么需要contiguous

当一个张量是不连续的时，它的数据分布可能是乱序的，但是在使用像transpose这样的操作时，它需要重新排列数据，这往往需要重新分配内存，也就是说在新的内存中进行操作，这样效率是非常低的。而当一个张量是连续的时，由于数据存放是连续的，我们只需要调整指针的位置就可以实现重组，这样的操作会大大提高运算效率。

如何使用contiguous

为了判断一个张量是否是连续存储的，我们可以使用is_contiguous()方法。如果返回值为True，则表明该张量是已经连续存储的；如果返回值为False，则表明该张量是不连续存储的。

我们可以使用reshape方法来改变一个张量的形状，但是当原张量不连续存储时，我们需要先使用contiguous方法将原张量转换为连续存储后，才能使用reshape方法。

下面是一个示例代码，它演示了如何使用contiguous方法来重构内存中的元素。

import torch

# 创建一个不连续的张量
x = torch.Tensor([[1, 2, 3], [4, 5, 6]])
x_slice = x[:, 1:]

# 对x_slice进行操作之前，需要先将其转换为连续的存储方式
x_slice = x_slice.contiguous()

# 使用transpose转置x_slice
x_slice_T = x_slice.transpose(0, 1)

使用contiguous方法可以避免对内存的大量拷贝操作，从而加快代码的运行速度。在实际使用中，我们需要特别关注张量的存储方式，如果张量是不连续的，我们应该先使用contiguous方法将其转换为连续存储后，再进行一些操作。