Pytorch中Softmax与LogSigmoid的对比分析

2023年5月16日上午2:24 • 卷积神经网络

下面是关于PyTorch中Softmax与LogSigmoid的对比分析的完整攻略。

Softmax与LogSigmoid的介绍

在PyTorch中，Softmax和LogSigmoid是两种常用的激活函数。Softmax函数可以将一个向量映射到一个概率分布，而LogSigmoid函数可以将一个实数映射到一个介于0和1之间的值。

Softmax函数的公式如下：

$$
\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_{j=1}^n e^{x_j}}
$$

其中，$x_i$表示输入向量中的第$i$个元素，$n$表示向量的长度。

LogSigmoid函数的公式如下：

$$
\text{logsigmoid}(x) = \log\left(\frac{1}{1+e^{-x}}\right)
$$

Softmax与LogSigmoid的对比分析

Softmax和LogSigmoid函数在神经网络中的应用有所不同。Softmax函数通常用于多分类问题，可以将输出向量映射到一个概率分布，从而方便计算交叉熵损失。而LogSigmoid函数通常用于二分类问题，可以将输出值映射到一个介于0和1之间的值，从而方便计算二元交叉熵损失。

以下是一个使用Softmax函数的示例，用于对MNIST数据集进行分类：

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision.datasets as datasets
import torchvision.transforms as transforms

# 定义模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 256)
        self.fc2 = nn.Linear(256, 10)

    def forward(self, x):
        x = x.view(-1, 784)
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.softmax(self.fc2(x), dim=1)
        return x

# 加载数据集
train_dataset = datasets.MNIST(root='./data', train=True, transform=transforms.ToTensor(), download=True)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transforms.ToTensor(), download=True)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

# 训练模型
model = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)

for epoch in range(10):
    for i, (inputs, labels) in enumerate(train_loader):
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

# 测试模型
correct = 0
total = 0
with torch.no_grad():
    for inputs, labels in test_loader:
        outputs = model(inputs)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy: %d %%' % (100 * correct / total))

在这个示例中，我们定义了一个包含两个全连接层和Softmax激活函数的神经网络，用于对MNIST数据集进行分类。在训练过程中，我们使用交叉熵损失和随机梯度下降优化器来训练模型。在测试过程中，我们使用准确率来评估模型的性能。

以下是一个使用LogSigmoid函数的示例，用于对二分类问题进行分类：

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision.datasets as datasets
import torchvision.transforms as transforms

# 定义模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 256)
        self.fc2 = nn.Linear(256, 1)

    def forward(self, x):
        x = x.view(-1, 784)
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.logsigmoid(self.fc2(x))
        return x

# 加载数据集
train_dataset = datasets.MNIST(root='./data', train=True, transform=transforms.ToTensor(), download=True)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transforms.ToTensor(), download=True)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

# 训练模型
model = Net()
criterion = nn.BCEWithLogitsLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)

for epoch in range(10):
    for i, (inputs, labels) in enumerate(train_loader):
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels.float())
        loss.backward()
        optimizer.step()

# 测试模型
correct = 0
total = 0
with torch.no_grad():
    for inputs, labels in test_loader:
        outputs = model(inputs)
        predicted = (outputs > 0).float()
        total += labels.size(0)
        correct += (predicted == labels.float()).sum().item()

print('Accuracy: %d %%' % (100 * correct / total))

在这个示例中，我们定义了一个包含两个全连接层和LogSigmoid激活函数的神经网络，用于对二分类问题进行分类。在训练过程中，我们使用二元交叉熵损失和随机梯度下降优化器来训练模型。在测试过程中，我们使用准确率来评估模型的性能。