Pytorch 中的optimizer使用说明

PyTorch中的optimizer是用于优化神经网络模型的工具。它可以自动计算梯度并更新模型的参数，以最小化损失函数。在本文中，我们将介绍PyTorch中optimizer的使用说明，并提供两个示例。

1. 定义optimizer

在PyTorch中，我们可以使用以下代码定义一个optimizer：

import torch.optim as optim

optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

在这个示例中，我们使用SGD优化器，并将学习率设置为0.01，动量设置为0.9。我们还将模型的参数传递给优化器，以便它可以自动计算梯度并更新参数。

2. 更新模型参数

在PyTorch中，我们可以使用以下代码更新模型参数：

optimizer.zero_grad()  # 清除梯度
loss.backward()  # 计算梯度
optimizer.step()  # 更新参数

在这个示例中，我们首先使用zero_grad()方法清除梯度。然后，我们使用backward()方法计算梯度。最后，我们使用step()方法更新模型参数。

3. 示例1：使用optimizer进行手写数字识别

以下是一个使用optimizer进行手写数字识别的示例：

import torch
import torch.nn as nn
import torchvision.datasets as dsets
import torchvision.transforms as transforms

# 加载MNIST数据集
train_dataset = dsets.MNIST(root='./data', train=True, transform=transforms.ToTensor(), download=True)
test_dataset = dsets.MNIST(root='./data', train=False, transform=transforms.ToTensor())

# 加载数据集
train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=100, shuffle=True)
test_loader = torch.utils.data.DataLoader(dataset=test_dataset, batch_size=100, shuffle=False)

# 定义模型
model = nn.Sequential(
    nn.Linear(784, 500),
    nn.ReLU(),
    nn.Linear(500, 10)
)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# 训练模型
total_step = len(train_loader)
for epoch in range(10):
    for i, (images, labels) in enumerate(train_loader):
        images = images.reshape(-1, 28*28)

        # 前向传播
        outputs = model(images)
        loss = criterion(outputs, labels)

        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if (i+1) % 100 == 0:
            print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}'.format(epoch+1, 10, i+1, total_step, loss.item()))

# 测试模型
with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        images = images.reshape(-1, 28*28)
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

    print('Accuracy of the model on the 10000 test images: {} %'.format(100 * correct / total))

在这个示例中，我们首先加载了MNIST数据集。然后，我们定义了一个名为model的神经网络模型，并定义了一个名为criterion的损失函数和一个名为optimizer的优化器。然后，我们使用训练数据对模型进行了训练，并在每个epoch结束时输出损失值。最后，我们使用测试数据对模型进行了测试，并输出了模型的准确率。

4. 示例2：使用optimizer进行猫狗分类

以下是一个使用optimizer进行猫狗分类的示例：

import torch
import torch.nn as nn
import torchvision.datasets as dsets
import torchvision.transforms as transforms
import torchvision.models as models

# 加载数据集
train_dataset = dsets.ImageFolder(root='./data/train', transform=transforms.Compose([
    transforms.Resize(224),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
]))
test_dataset = dsets.ImageFolder(root='./data/test', transform=transforms.Compose([
    transforms.Resize(224),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
]))
train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=100, shuffle=True)
test_loader = torch.utils.data.DataLoader(dataset=test_dataset, batch_size=100, shuffle=False)

# 加载预训练模型
model = models.resnet18(pretrained=True)
num_ftrs = model.fc.in_features
model.fc = nn.Linear(num_ftrs, 2)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)

# 训练模型
total_step = len(train_loader)
for epoch in range(10):
    for i, (images, labels) in enumerate(train_loader):
        # 前向传播
        outputs = model(images)
        loss = criterion(outputs, labels)

        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if (i+1) % 100 == 0:
            print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}'.format(epoch+1, 10, i+1, total_step, loss.item()))

# 测试模型
with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

    print('Accuracy of the model on the test images: {} %'.format(100 * correct / total))

在这个示例中，我们首先加载了猫狗分类数据集。然后，我们加载了一个训练的ResNet18模型，并将其输出层替换为一个名为fc的线性层。然后，我们定义了一个名为criterion的损失函数和一个名为optimizer的优化器。然后，我们使用训练数据对模型进行了训练，并在每个epoch结束时输出损失值。最后，我们使用测试数据对模型进行了测试，并输出了模型的准确率。