本篇借鉴了这篇文章,如果有兴趣,大家可以看看:https://blog.csdn.net/geter_CS/article/details/84857220
1、交叉熵:交叉熵主要是用来判定实际的输出与期望的输出的接近程度
2、CrossEntropyLoss()损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类(具体几类)训练的时候是非常有用的。
3、softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!
其公式如下:
numpy计算代码:
import numpy as np z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]) print(np.exp(z)/sum(np.exp(z)))
4、LogSoftmax能够解决函数上溢和下溢的问题,加快运算速度,提高数据稳定性。
其计算公式:
M是max(x_i),这样可以解决上溢下溢的问题.(但这样输出概率和就不是1了)
代码:
import torch x = torch.Tensor([-4, 2, -3.2, 0, 7]) softmax = torch.exp(x)/torch.sum(torch.exp(x)) print("softmaxn",softmax) print("sum:",torch.sum(softmax)) LogSoftmax = torch.log(softmax) print("LogSoftmaxn",LogSoftmax) print("sum:",torch.sum(LogSoftmax))
结果:
5、NllLoss:即负对数似然损失函数(Negtive Log Likehood)。
公式:
其中 yi 是one_hot编码后的数据标签,NLLLoss()得到的结果即是 yi 与logsoftmax()激活后的结果相乘再求均值再取反。(实际在用封装好的函数时,传入的标签无需进行one_hot编码)
代码:
import torch import torch.nn.functional as F import torch.nn as nn x = torch.randn(5,5) print("x:n",x) target = torch.tensor([0,2,3,1,4]) one_hot = F.one_hot(target).float() print("one_hot:n", one_hot) softmax = torch.exp(x)/torch.sum(torch.exp(x), dim=1).reshape(-1,1) print("soft_max:n",softmax) LogSoftmax = torch.log(softmax) nllloss = -torch.sum(one_hot*LogSoftmax)/target.shape[0] print("nllLoss:",nllloss) #利用torch.nn.funcation实现 logsoftmax = F.log_softmax(x, dim=1) nllloss = F.nll_loss(logsoftmax, target) print("torch_nllLoss:",nllloss) #直接用torch.nn.CrossEntropyLoss验证 cross_entropy = F.cross_entropy(x, target) print("cross_entropy:",cross_entropy)
结果:
5、没有权重的损失函数的计算如下:
有权重的损失函数的计算如下:
注意这里的标签值class,并不参与直接计算,而是作为一个索引,索引对象为实际类别
6、交叉熵损失(CE)和负对数极大似然估计(NLL)的关系:交叉熵是定义在两个one-hot向量之间的,更具体地说是定义在两个概率向量之间nll是定义在一个模型上的,取决于模型本身可以取不同的形式。
似然函数:都是指某种事件发生的可能性,但是在统计学中,“似然性”和“概率”(或然性)有明确的区分:概率,用于在已知一些参数的情况下,预测接下来在观测上所得到的结果;似然性,则是用于在已知某些观测所得到的结果时,对有关事物之性质的参数进行估值,也就是说已观察到某事件后,对相关参数进行猜测。
举个栗子,我们一共有三种类别,批量大小为1(为了好计算),那么输入size为(1,3),具体值为torch.Tensor([[-0.7715, -0.6205,-0.2562]])。标签值为target = torch.tensor([0]),这里标签值为0,表示属于第0类。loss计算如下:
import torch import torch.nn as nn import numpy as np entroy = nn.CrossEntropyLoss() input = torch.Tensor([[-0.7715,-0.6205,-0.2562]]) target = torch.tensor([0]) output = entroy(input,target) print(output) #采用CrossEntropyLoss计算的结果。 myselfout = -(input[:,0])+np.log(np.exp(input[:,0])+np.exp(input[:,1])+np.exp(input[:,2])) #自己带公式计算的结果 print(myselfout) lsf = nn.LogSoftmax() loss = nn.NLLLoss() lsfout = lsf(input) lsfnout = loss(lsfout,target) print(lsfnout)
结果:
tensor(1.3447) tensor([1.3447]) tensor(1.3447)
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解 - Python技术站