autograd包是PyTorch中神经网络的核心部分,简单学习一下.

autograd提供了所有张量操作的自动求微分功能. 它的灵活性体现在可以通过代码的运行来决定反向传播的过程, 这样就使得每一次的迭代都可以是不一样的.

  • autograd.Variable是这个包中的核心类.
  • 它封装了Tensor,并且支持了几乎所有Tensor的操作.
  • 一旦你完成张量计算之后就可以调用.backward()函数,它会帮你把所有的梯度计算好.
  • 通过Variable的.data属性可以获取到张量.
  • 通过Variabe的.grad属性可以获取到梯度.

下图是Variable的结构图:

 

 
PyTorch入门学习(二):Autogard之自动求梯度

Function类

  • 对于实现自动求梯度还有一个很重要的类就是autograd.Function.
  • VariableFunction一起构建了非循环图,完成了前向传播的计算.
  • 每个通过Function函数计算得到的变量都有一个.grad_fn属性.
  • 用户自己定义的变量(不是通过函数计算得到的)的.grad_fn值为空.
  • 如果想计算某个变量的梯度,可以调用.backward()函数:
    1.当变量是标量的时候不需要指定任何参数.
    2.当变量不是标量的时候,需要指定一个跟该变量同样大小的张量grad_output用来存放计算好的梯度.

代码示例

  • import packet
import torch
from torch.autograd import Variable
  • Create a variable
x=Variable(torch.ones(2,2),requires_grad=True)
print (x)
 
PyTorch入门学习(二):Autogard之自动求梯度
  • Do an operation of variable
y=x+2
print(y)
 
PyTorch入门学习(二):Autogard之自动求梯度
  • grad_fn attribute
    这里的x是属于用户自己定义的,而y属于函数产生的,所以y有grad_fn属性,而x没有.
print (x.grad_fn)
print (y.grad_fn)
 
PyTorch入门学习(二):Autogard之自动求梯度
  • more operations on y
z = y * y * 3
out = z.mean()
print(z, out)
 
PyTorch入门学习(二):Autogard之自动求梯度

Gradients

如果你跟着上面的代码做下来的话,上面已经完成了变量x及计算函数的定义.
现在我们就可以用backward()自动求导啦.

out.backward()
print(x.grad)

反向计算得到的梯度如下所示:

 

 
PyTorch入门学习(二):Autogard之自动求梯度
  • 这里的out为标量,所以直接调用backward()函数即可.
  • 一定要注意当out为数组时,用先定义一样大小的Tensor例如grad_output执行.backgrad(grad_output)语句.

以上就基本完成了前向传播建立计算图以及反向传播求梯度的过程.

PyTorch入门学习(二):Autogard之自动求梯度