pytorch 自定义参数不更新方式

当我们使用PyTorch进行深度学习模型训练时，有时候需要自定义一些参数，但是这些参数不需要被优化器更新。下面是两个示例说明如何实现这个功能。

示例1

假设我们有一个模型，其中有一个参数custom_param需要被自定义，但是不需要被优化器更新。我们可以使用nn.Parameter来定义这个参数，并将requires_grad设置为False，这样它就不会被优化器更新。

import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.custom_param = nn.Parameter(torch.randn(1), requires_grad=False)
        self.fc = nn.Linear(10, 1)

    def forward(self, x):
        out = self.fc(x)
        out += self.custom_param
        return out

在这个示例中，我们定义了一个名为MyModel的模型，其中包含一个自定义参数custom_param和一个线性层fc。我们将custom_param定义为一个nn.Parameter对象，并将requires_grad设置为False，这样它就不会被优化器更新。在forward方法中，我们将custom_param添加到模型输出中。

示例2

假设我们有一个模型，其中有一些参数需要被自定义，但是不需要被优化器更新。我们可以使用register_parameter方法来定义这些参数，并将requires_grad设置为False，这样它们就不会被优化器更新。

import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.register_parameter('custom_param1', nn.Parameter(torch.randn(1), requires_grad=False))
        self.register_parameter('custom_param2', nn.Parameter(torch.randn(1), requires_grad=False))
        self.fc = nn.Linear(10, 1)

    def forward(self, x):
        out = self.fc(x)
        out += self.custom_param1
        out += self.custom_param2
        return out

在这个示例中，我们定义了一个名为MyModel的模型，其中包含两个自定义参数custom_param1和custom_param2，以及一个线性层fc。我们使用register_parameter方法来定义这些参数，并将requires_grad设置为False，这样它们就不会被优化器更新。在forward方法中，我们将这两个自定义参数添加到模型输出中。

希望这些示例能够帮助你实现自定义参数不更新的功能。