pytorch训练imagenet分类的方法

下面是关于“PyTorch训练ImageNet分类的方法”的完整攻略。

PyTorch训练ImageNet分类的方法

ImageNet是一个大规模的图像分类数据集，包含超过100万张图像和1000个类别。在PyTorch中，可以使用预训练的模型来进行ImageNet分类任务。以下是使用PyTorch训练ImageNet分类的步骤：

步骤1：准备数据

首先需要准备ImageNet数据集。可以从官方网站下载数据集，并使用torchvision库中的ImageFolder函数来加载数据集。以下是加载数据集的示例：

import torchvision.datasets as datasets
import torchvision.transforms as transforms

data_dir = '/path/to/imagenet'
train_dataset = datasets.ImageFolder(
    root=data_dir + '/train',
    transform=transforms.Compose([
        transforms.RandomResizedCrop(224),
        transforms.RandomHorizontalFlip(),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
    ])
)
train_loader = torch.utils.data.DataLoader(
    train_dataset, batch_size=256, shuffle=True,
    num_workers=16, pin_memory=True
)

步骤2：定义模型

接下来需要定义模型。可以使用预训练的模型，如ResNet、DenseNet等。以下是使用ResNet-50模型的示例：

import torch.nn as nn
import torchvision.models as models

model = models.resnet50(pretrained=True)
num_ftrs = model.fc.in_features
model.fc = nn.Linear(num_ftrs, 1000)

步骤3：定义损失函数和优化器

接下来需要定义损失函数和优化器。可以使用交叉熵损失函数和随机梯度下降优化器。以下是定义损失函数和优化器的示例：

import torch.optim as optim

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)

步骤4：训练模型

接下来需要训练模型。以下是训练模型的示例：

import torch

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model.to(device)

for epoch in range(10):
    running_loss = 0.0
    for i, data in enumerate(train_loader, 0):
        inputs, labels = data
        inputs, labels = inputs.to(device), labels.to(device)

        optimizer.zero_grad()

        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        if i % 100 == 99:
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 100))
            running_loss = 0.0

步骤5：测试模型

最后需要测试模型。可以使用测试集来测试模型的准确率。以下是测试模型的示例：

import torchvision.datasets as datasets
import torchvision.transforms as transforms

data_dir = '/path/to/imagenet'
val_dataset = datasets.ImageFolder(
    root=data_dir + '/val',
    transform=transforms.Compose([
        transforms.Resize(256),
        transforms.CenterCrop(224),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
    ])
)
val_loader = torch.utils.data.DataLoader(
    val_dataset, batch_size=256, shuffle=False,
    num_workers=16, pin_memory=True
)

correct = 0
total = 0
with torch.no_grad():
    for data in val_loader:
        images, labels = data
        images, labels = images.to(device), labels.to(device)
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy of the network on the 50000 test images: %d %%' % (
    100 * correct / total))