pytorch 固定部分参数训练的方法

在PyTorch中，有时候我们需要固定部分参数进行训练，例如在迁移学习中，我们可能只想训练模型的最后几层，而不是整个模型。本文将提供一个完整的攻略，介绍如何在PyTorch中固定部分参数进行训练。我们将提供两个示例，分别是使用requires_grad和使用nn.ModuleList固定部分参数进行训练。

示例1：使用requires_grad固定部分参数进行训练

以下是一个示例，展示如何使用requires_grad固定部分参数进行训练。

1. 导入库

import torch
import torch.nn as nn
import torch.optim as optim

2. 定义模型

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = nn.functional.relu(self.conv1(x))
        x = nn.functional.max_pool2d(x, 2)
        x = nn.functional.relu(self.conv2(x))
        x = nn.functional.max_pool2d(x, 2)
        x = x.view(-1, 16 * 5 * 5)
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x

net = Net()

3. 固定部分参数

for param in net.parameters():
    param.requires_grad = False

for param in net.fc3.parameters():
    param.requires_grad = True

4. 定义损失函数和优化器

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.fc3.parameters(), lr=0.001, momentum=0.9)

5. 训练模型

for epoch in range(2):  # 多次循环数据集

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data

        optimizer.zero_grad()

        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        if i % 2000 == 1999:    # 每2000个小批量数据打印一次损失值
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

示例2：使用nn.ModuleList固定部分参数进行训练

以下是一个示例，展示如何使用nn.ModuleList固定部分参数进行训练。

1. 导入库

import torch
import torch.nn as nn
import torch.optim as optim

2. 定义模型

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv_layers = nn.ModuleList([
            nn.Conv2d(3, 6, 5),
            nn.Conv2d(6, 16, 5)
        ])
        self.fc_layers = nn.ModuleList([
            nn.Linear(16 * 5 * 5, 120),
            nn.Linear(120, 84),
            nn.Linear(84, 10)
        ])

    def forward(self, x):
        for layer in self.conv_layers:
            x = nn.functional.relu(layer(x))
            x = nn.functional.max_pool2d(x, 2)
        x = x.view(-1, 16 * 5 * 5)
        for layer in self.fc_layers:
            x = nn.functional.relu(layer(x))
        return x

net = Net()

3. 固定部分参数

for i, layer in enumerate(net.conv_layers):
    if i == 0:
        for param in layer.parameters():
            param.requires_grad = False
    else:
        for param in layer.parameters():
            param.requires_grad = True

4. 定义损失函数和优化器

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

5. 训练模型

for epoch in range(2):  # 多次循环数据集

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data

        optimizer.zero_grad()

        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        if i % 2000 == 1999:    # 每2000个小批量数据打印一次损失值
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

总结

本文提供了一个完整的攻略，介绍了如何在PyTorch中固定部分参数进行训练。我们提供了两个示例，分别是使用requires_grad和使用nn.ModuleList固定部分参数进行训练。在实现过程中，我们使用了PyTorch的requires_grad和nn.ModuleList，并使用了backward()函数计算梯度。