pytorch如何获得模型的计算量和参数量

PyTorch如何获得模型的计算量和参数量

在深度学习中，模型的计算量和参数量是两个重要的指标，可以帮助我们评估模型的复杂度和性能。在本文中，我们将介绍如何使用PyTorch来获得模型的计算量和参数量，并提供两个示例，分别是计算卷积神经网络的计算量和参数量。

计算卷积神经网络的计算量和参数量

以下是一个示例，展示如何计算卷积神经网络的计算量和参数量。

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1)
        self.conv2 = nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1)
        self.conv3 = nn.Conv2d(128, 256, kernel_size=3, stride=1, padding=1)
        self.fc1 = nn.Linear(256 * 4 * 4, 1024)
        self.fc2 = nn.Linear(1024, 10)

    def forward(self, x):
        x = nn.functional.relu(self.conv1(x))
        x = nn.functional.max_pool2d(x, 2)
        x = nn.functional.relu(self.conv2(x))
        x = nn.functional.max_pool2d(x, 2)
        x = nn.functional.relu(self.conv3(x))
        x = nn.functional.max_pool2d(x, 2)
        x = x.view(-1, 256 * 4 * 4)
        x = nn.functional.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = Net()

params = sum(p.numel() for p in model.parameters())
print(f'Number of parameters: {params}')

flops = torch.randn(1, 3, 32, 32)
flops = model(flops)
flops = int(2 * params * flops.size(0))
print(f'Number of FLOPs: {flops}')

在这个示例中，我们定义了一个简单的卷积神经网络模型，并使用sum(p.numel() for p in model.parameters())来计算模型的参数量。在计算模型的计算量时，我们首先生成一个随机的输入张量，并将其传递给模型。我们使用flops.size(0)来获取批量大小，并使用2 * params * flops.size(0)来计算模型的计算量。最后，我们打印出模型的参数量和计算量。

计算ResNet的计算量和参数量

以下是一个示例，展示如何计算ResNet的计算量和参数量。

import torch
import torch.nn as nn

class BasicBlock(nn.Module):
    expansion = 1

    def __init__(self, in_planes, planes, stride=1):
        super(BasicBlock, self).__init__()
        self.conv1 = nn.Conv2d(in_planes, planes, kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(planes)
        self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(planes)

        self.shortcut = nn.Sequential()
        if stride != 1 or in_planes != self.expansion*planes:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_planes, self.expansion*planes, kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(self.expansion*planes)
            )

    def forward(self, x):
        out = nn.functional.relu(self.bn1(self.conv1(x)))
        out = self.bn2(self.conv2(out))
        out += self.shortcut(x)
        out = nn.functional.relu(out)
        return out

class ResNet(nn.Module):
    def __init__(self, block, num_blocks, num_classes=10):
        super(ResNet, self).__init__()
        self.in_planes = 64

        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(64)
        self.layer1 = self._make_layer(block, 64, num_blocks[0], stride=1)
        self.layer2 = self._make_layer(block, 128, num_blocks[1], stride=2)
        self.layer3 = self._make_layer(block, 256, num_blocks[2], stride=2)
        self.layer4 = self._make_layer(block, 512, num_blocks[3], stride=2)
        self.linear = nn.Linear(512*block.expansion, num_classes)

    def _make_layer(self, block, planes, num_blocks, stride):
        strides = [stride] + [1]*(num_blocks-1)
        layers = []
        for stride in strides:
            layers.append(block(self.in_planes, planes, stride))
            self.in_planes = planes * block.expansion
        return nn.Sequential(*layers)

    def forward(self, x):
        out = nn.functional.relu(self.bn1(self.conv1(x)))
        out = self.layer1(out)
        out = self.layer2(out)
        out = self.layer3(out)
        out = self.layer4(out)
        out = nn.functional.avg_pool2d(out, 4)
        out = out.view(out.size(0), -1)
        out = self.linear(out)
        return out

def ResNet18():
    return ResNet(BasicBlock, [2,2,2,2])

model = ResNet18()

params = sum(p.numel() for p in model.parameters())
print(f'Number of parameters: {params}')

flops = torch.randn(1, 3, 32, 32)
flops = model(flops)
flops = int(2 * params * flops.size(0))
print(f'Number of FLOPs: {flops}')

在这个示例中，我们定义了一个ResNet18模型，并使用sum(p.numel() for p in model.parameters())来计算模型的参数量。在计算模型的计算量时，我们首先生成一个随机的输入张量，并将其传递给模型。我们使用flops.size(0)来获取批量大小，并使用2 * params * flops.size(0)来计算模型的计算量。最后，我们打印出模型的参数量和计算量。

总结

本文介绍了如何使用PyTorch来获得模型的计算量和参数量，并提供了两个示例，分别是计算卷积神经网络的计算量和参数量以及计算ResNet的计算量和参数量。在实现过程中，我们使用了PyTorch和其他些库，并介绍了一些常用的函数和技术。