pytorch随机采样操作SubsetRandomSampler()

PyTorch 中的 SubsetRandomSampler 类是一种用于随机采样数据集的方法。它可以用于生成一个索引列表，该列表可以被 DataLoader 类（或其他任何需要索引列表的类）用于加载数据集子集。

使用方法示例

下面是使用 SubsetRandomSampler 的基本方法:

import torch
from torch.utils.data.sampler import SubsetRandomSampler
from torchvision.datasets import MNIST

dataset = MNIST(root='data', train=True, download=True)

# Split the dataset into train and test set by specifying indices
train_size, test_size = 50000, 10000
indices = torch.randperm(len(dataset))
train_indices, test_indices = indices[:train_size], indices[train_size:]

# Create the samplers for train and test
train_sampler = SubsetRandomSampler(train_indices)
test_sampler = SubsetRandomSampler(test_indices)

# Use the samplers to create the loaders
train_loader = DataLoader(dataset, batch_size=64, sampler=train_sampler)
test_loader = DataLoader(dataset, batch_size=64, sampler=test_sampler)

在上述示例中，我们下载了 MNIST 数据集并将其分为训练集和测试集。我们创建了两个索引列表 train_indices 和 test_indices，分别由 SubsetRandomSampler 类生成。然后，我们使用这些索引创建了训练集和测试集的 DataLoader 实例。

可以看出，在使用 SubsetRandomSampler 类之前，需要先确定数据集的切割方案，即将数据集分为多少个部分；然后，使用 SubsetRandomSampler 类生成相应的索引列表。最后，使用这些索引列表来创建 DataLoader 类的实例。

下面是另一个示例，以更方便地使用 SubsetRandomSampler 类：

import torch
from torch.utils.data import DataLoader, random_split
from torchvision.datasets import MNIST
from torch.utils.data.sampler import SubsetRandomSampler

dataset = MNIST(root='data', train=True, download=True)

train_size, test_size = 50000, 10000
train_dataset, test_dataset = random_split(dataset, [train_size, test_size])

# Create samplers for train and test
train_sampler = SubsetRandomSampler(train_dataset.indices)
test_sampler = SubsetRandomSampler(test_dataset.indices)

# Use the samplers to create the loaders
train_loader = DataLoader(train_dataset, batch_size=64, sampler=train_sampler)
test_loader = DataLoader(test_dataset, batch_size=64, sampler=test_sampler)

在这个示例中，我们首先使用了 random_split 方法将数据集随机切分为训练集和测试集。然后，我们使用 SubsetRandomSampler 类生成了训练集和测试集的索引列表。最后，我们使用这些索引列表创建了 DataLoader 实例。

结论

使用 SubsetRandomSampler 类可以方便地进行数据集的随机采样。需要注意的是，在使用该类之前，需要先确定数据集的切割方案，并先生成索引列表；然后，再将这些索引列表用于创建 DataLoader 类的实例。