本篇借鉴了这篇文章,如果有兴趣,大家可以看看:https://blog.csdn.net/geter_CS/article/details/84857220

1、交叉熵:交叉熵主要是用来判定实际的输出与期望的输出的接近程度

2、CrossEntropyLoss()损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类(具体几类)训练的时候是非常有用的。

3、softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!

其公式如下:  

            Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

numpy计算代码:

import numpy as np
z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0])
print(np.exp(z)/sum(np.exp(z)))

 4、LogSoftmax能够解决函数上溢和下溢的问题,加快运算速度,提高数据稳定性

其计算公式:

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

M是max(x_i),这样可以解决上溢下溢的问题.(但这样输出概率和就不是1了)

代码:

import torch
x = torch.Tensor([-4, 2, -3.2, 0, 7])
softmax = torch.exp(x)/torch.sum(torch.exp(x))
print("softmaxn",softmax)
print("sum:",torch.sum(softmax))
LogSoftmax = torch.log(softmax)
print("LogSoftmaxn",LogSoftmax)
print("sum:",torch.sum(LogSoftmax))

结果:

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

 5、NllLoss:即负对数似然损失函数(Negtive Log Likehood)。

公式:

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

 

其中 y是one_hot编码后的数据标签,NLLLoss()得到的结果即是 y与logsoftmax()激活后的结果相乘再求均值再取反。(实际在用封装好的函数时,传入的标签无需进行one_hot编码)

代码:

import torch
import torch.nn.functional as F
import torch.nn as nn
x = torch.randn(5,5)
print("x:n",x)
target = torch.tensor([0,2,3,1,4])
one_hot = F.one_hot(target).float()
print("one_hot:n", one_hot)
softmax = torch.exp(x)/torch.sum(torch.exp(x), dim=1).reshape(-1,1)
print("soft_max:n",softmax)
LogSoftmax = torch.log(softmax)
nllloss = -torch.sum(one_hot*LogSoftmax)/target.shape[0]
print("nllLoss:",nllloss)
#利用torch.nn.funcation实现
logsoftmax = F.log_softmax(x, dim=1)
nllloss = F.nll_loss(logsoftmax, target)
print("torch_nllLoss:",nllloss)

#直接用torch.nn.CrossEntropyLoss验证
cross_entropy = F.cross_entropy(x, target)
print("cross_entropy:",cross_entropy)

结果:

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

5、没有权重的损失函数的计算如下:

      Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

有权重的损失函数的计算如下:

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

注意这里的标签值class,并不参与直接计算,而是作为一个索引,索引对象为实际类别

6、交叉熵损失(CE)和负对数极大似然估计(NLL)的关系:交叉熵是定义在两个one-hot向量之间的,更具体地说是定义在两个概率向量之间nll是定义在一个模型上的,取决于模型本身可以取不同的形式。

似然函数:都是指某种事件发生的可能性,但是在统计学中,“似然性”和“概率”(或然性)有明确的区分:概率,用于在已知一些参数的情况下,预测接下来在观测上所得到的结果;似然性,则是用于在已知某些观测所得到的结果时,对有关事物之性质的参数进行估值,也就是说已观察到某事件后,对相关参数进行猜测。

下图出处:

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

 

举个栗子,我们一共有三种类别,批量大小为1(为了好计算),那么输入size为(1,3),具体值为torch.Tensor([[-0.7715, -0.6205,-0.2562]])。标签值为target = torch.tensor([0]),这里标签值为0,表示属于第0类。loss计算如下:

import torch
import torch.nn as nn
import numpy as np
entroy = nn.CrossEntropyLoss()
input = torch.Tensor([[-0.7715,-0.6205,-0.2562]])
target = torch.tensor([0])
output = entroy(input,target)
print(output) #采用CrossEntropyLoss计算的结果。
myselfout = -(input[:,0])+np.log(np.exp(input[:,0])+np.exp(input[:,1])+np.exp(input[:,2])) #自己带公式计算的结果
print(myselfout)
lsf = nn.LogSoftmax()
loss = nn.NLLLoss()
lsfout = lsf(input)
lsfnout = loss(lsfout,target)
print(lsfnout)

结果:

tensor(1.3447)
tensor([1.3447])
tensor(1.3447)

 

softmax
Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解
SoftMax