pytorch加载预训练模型与自己模型不匹配的解决方案

加载预训练模型是深度学习中常用的技巧之一，可以利用预训练模型的权重来加快模型的训练速度，同时也提高了模型的精度。然而，有时候我们可能需要在一个不同的任务中使用一个预训练的模型，而这个预训练模型可能与我们自己定义的模型结构不匹配的情况，这时我们就需要一些解决方案。下面我将介绍几种PyTorch加载预训练模型与自己模型不匹配的解决方案。

方案一：从预训练模型中提取特征

如果我们需要在自己的模型中使用预训练模型，但两个模型的结构不匹配，我们可以从预训练模型中提取特征，然后在自己的模型中使用这些特征。

代码示例：

import torch.nn as nn
import torchvision.models as models

class MyModel(nn.Module):
    def __init__(self, num_classes=1000):
        super(MyModel, self).__init__()
        self.features = nn.Sequential(*list(models.vgg16(pretrained=True).features.children())[:-1])
        self.avgpool = nn.AdaptiveAvgPool2d(7)
        self.classifier = nn.Sequential(
            nn.Linear(512 * 7 * 7, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, num_classes),
        )

    def forward(self, x):
        x = self.features(x)
        x = self.avgpool(x)
        x = torch.flatten(x, 1)
        x = self.classifier(x)
        return x

上面的代码示例将vgg16模型从预训练模型中提取出来，并将最后一层改为分类器，这样就可以使用预训练模型来提取特征，然后在自己的模型中使用这些特征。

方案二：修改预训练模型的结构

如果预训练模型的结构与自己的模型结构有差异，我们也可以通过修改预训练模型的结构来匹配自己的模型。

代码示例：

import torch.nn as nn
import torchvision.models as models

class MyModel(nn.Module):
    def __init__(self, num_classes=10):
        super(MyModel, self).__init__()
        # 加载预训练模型
        pretrained_model = models.resnet50(pretrained=True)
        # 修改模型结构
        pretrained_model.avgpool = nn.AdaptiveAvgPool2d(1)
        pretrained_model.fc = nn.Linear(pretrained_model.fc.in_features, num_classes)
        self.pretrained_model = pretrained_model

    def forward(self, x):
        x = self.pretrained_model(x)
        return x

上面这个例子中，我们加载了预训练的ResNet50模型，然后通过修改avgpool和fc层来匹配我们自己的模型，最后返回修改后的预训练模型。

总结来说，无论是从预训练模型中提取特征还是修改预训练模型的结构，我们需要根据自己的模型结构进行相应的调整，这样才能将预训练模型与自己的模型结合起来，并得到较好的性能。