pytorch使用指定GPU训练的实例

在PyTorch中，我们可以使用指定的GPU来训练模型。在本文中，我们将详细讲解如何使用指定的GPU来训练模型。我们将使用两个示例来说明如何完成这些步骤。

示例1：使用单个GPU训练模型

以下是使用单个GPU训练模型的步骤：

import torch
import torch.nn as nn
import torch.optim as optim

# 检查GPU是否可用
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(device)

# 定义模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 128)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = x.view(-1, 784)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = Net().to(device)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 加载数据
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)

# 训练模型
for epoch in range(10):
    running_loss = 0.0
    for i, data in enumerate(train_loader, 0):
        inputs, labels = data
        inputs, labels = inputs.to(device), labels.to(device)
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()

    print(f'Epoch {epoch + 1}, Loss: {running_loss / len(train_dataset)}')

在上述代码中，我们首先检查GPU是否可用，并将模型移动到GPU上。然后，我们定义了一个简单的全连接神经网络Net，它含有一个输入层、一个隐藏层和一个输出层。在训练模型的过程中，我们使用inputs.to(device)和labels.to(device)将数据移动到GPU上。在训练模型的过程中，我们使用torch.utils.data.DataLoader加载数据，并使用enumerate()函数遍历数据。在每个批次中，我们使用optimizer.zero_grad()清除梯度，使用model(inputs)计算输出，使用criterion(outputs, labels)计算损失，使用loss.backward()计算梯度，使用optimizer.step()更新权重。

示例2：使用多个GPU训练模型

以下是使用多个GPU训练模型的步骤：

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.parallel
import torch.distributed as dist
import torch.multiprocessing as mp
import torch.utils.data
import torch.utils.data.distributed

# 检查GPU是否可用
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(device)

# 定义模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 128)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = x.view(-1, 784)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = Net().to(device)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss().to(device)
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 加载数据
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True, num_workers=4, pin_memory=True)

# 训练模型
def train(gpu, train_loader):
    rank = gpu
    dist.init_process_group(backend='nccl', init_method='tcp://127.0.0.1:23456', world_size=2, rank=rank)
    torch.cuda.set_device(gpu)
    model = Net().to(device)
    model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[gpu])
    criterion = nn.CrossEntropyLoss().to(device)
    optimizer = optim.SGD(model.parameters(), lr=0.1)

    for epoch in range(10):
        running_loss = 0.0
        for i, data in enumerate(train_loader, 0):
            inputs, labels = data
            inputs, labels = inputs.to(device), labels.to(device)
            optimizer.zero_grad()
            outputs = model(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            running_loss += loss.item()

        print(f'Epoch {epoch + 1}, Loss: {running_loss / len(train_dataset)}')

# 启动多个进程
if __name__ == '__main__':
    mp.spawn(train, nprocs=2, args=(train_loader,))