两类深度学习框架的优缺点 动态图(PyTorch) 计算图的进行与代码的运行时同时进行的。 静态图(Tensorflow <2.0) 自建命名体系 自建时序控制 难以介入 使用深度学习框架的优点 GPU 加速 (cuda) 自动求导 常用网络层的API PyTorch 的特点 支持 GPU 动态神经网络 Python 优先 命令式体验 轻松扩展
1.Pytorch简介 Pytorch是Facebook 的 AI 研究团队发布了一个基于 Python的科学计算包,旨在服务两类场合: 替代numpy发挥GPU潜能(在线环境暂时不支持GPU) 一个提供了高度灵活性和效率的深度学习实验性平台 2.Pytorch特点及优势 2.1 Pytorch特点 PyTorch 提供了运行在 GPU/CPU 之上、基础的张量操作库; 可以内置的神经网络库; 提供模型训练功能; 支持共享内存的多进程并发(multiprocessing )库等; 2.2 Pytorch特点 处于机器学习第一大语言 Python 的生态圈之中,使得开发者能使用广大的 Python 库和软件;如 NumPy、SciPy 和 Cython(为了速度把 Python 编译成 C 语言); (最大优势)改进现有的神经网络,提供了更快速的方法——不需要从头重新构建整个网络,这是由于 PyTorch 采用了动态计算图(dynamic computational graph)结构,而不是大多数开源框架(TensorFlow、Caffe、CNTK、Theano 等)采用的静态计算图; 提供工具包,如torch 、torch.nn、torch.optim等; 3.Pytorch常用工具包 torch :类似 NumPy 的张量库,强 GPU 支持 ; torch.autograd :基于 tape 的自动区别库,支持 torch 之中的所有可区分张量运行; torch.nn :为最大化灵活性未涉及、与 autograd 深度整合的神经网络库; torch.optim:与 torch.nn 一起使用的优化包,包含 SGD、RMSProp、LBFGS、Adam 等标准优化方式; torch.multiprocessing: python 多进程并发,进程之间 torch Tensors 的内存共享; torch.utils:数据载入器。具有训练器和其他便利功能; torch.legacy(.nn/.optim) :处于向后兼容性考虑,从 Torch 移植来的 legacy 代码;
官方宣传pytorch侧重两类用户:numpy的gpu版、深度学习研究平台
pytorch使用动态图机制,相比于tensorflow最开始的静态图,更为灵活
当前pytorch支持的系统包括:win,linux,macos
torch: 内含一些常用方法,与numpy比较像
torch.Tensor:内含一些操作tensor的方法,可通过tensor.xx()进行调用
torch.nn:内含一些常用模型,如rnn,cnn等
torch.nn.functional:内含一些常用方法,如sigmoid,softmax等
torch.optim:内含一些优化算法,如sgd,adam等
torch.utils.data:内含一些数据迭代方法
3. 基本操作
torch.empty(3,4)
torch.rand(4,3)
torch.zeros(4,3, dtype=torch.int)
x = torch.tensor([3,4],dtype=torch.float)
x = torch.IntTensor([3,4])
x.shape
x.size()
x = torch.ones(3,4)
# 以下三个式子 含义相同
x = x + x
x = torch.add(x, x)
x.add_(x)
x[:,1]
x.view(-1)
x.view(4,3)
x = torch.randn(1)
x.item()
input = torch.randn(32, 32)
input = input.unsqueeze(0)
input.size()
x.data.requires_grad
x.type(torch.LongTensor)123456789101112131415161718192021222324252627282930313233343536373839404142434445
a= numpy.array([1,2,3])
a = torch.from_numpy(a)
a.numpy()1234
torch.cuda.is_available()
# 调用设备
device = torch.device('cpu') # cuda or cpu
a = torch.tensor([1,2,3], device='cuda') # 直接在gpu上创建
a = a.to(device) # 上传
a = a.to('cpu') # 上传, cpu or cuda
a = a.cuda() # 上传cuda12345678
.requires_grad ,决定是否可微(梯度)
.backward(), 计算梯度;如果单独一个值则不需指定参数,否则需传入权重(尺寸与tensor的size同)
.grad, 用于存储梯度累计值。 只有tensor有梯度值,计算节点没有
.detach(), 相当于新建了一个变量,历史的计算图无效
with torch.no_grad():, 评估模型时可用到,不计算梯度
.grad_fn, 节点是如何产生的;用户创造的tensor([1,2,3]).grad_fn 为None
.data(), tensor值,requires_grad=False
# 创建可微的tensor
x = torch.ones(2,3,requires_grad=True)
x.requires_grad_(False)
x = torch.ones(2, 2, requires_grad=True)
y = x +2
z = y * y *3
out = torch.sum(z)
out.backward()
x.grad
with torch.no_grad():
x = torch.ones(2, 2, requires_grad=True)
y = x +2
z = y * y *3
out = torch.sum(z)
out.backward()
x.grad12345678910111213141516171819202122
class定义
Sequential定义
# 通过class定义
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
# 下面通过实例变量的形式声明模型内需要学习的参数
self.fc1 = nn.Linear(5, 10)
self.fc2 = nn.Linear(10,20)
# 下面定义计算图
x = self.fc1(x)
x = nn.functional.relu(x)
x = self.fc2(x)
return x
net = Net()
net = Sequential(
nn.Linear(5, 10),
nn.Relu(),
nn.Linear(10, 20)
)12345678910111213141516171819202122
net.parameters() #可用for 迭代
net.zero_grad()12345
output = net(input)
loss = criterion(output, target)
loss.backward()
optimizer.step() 12345
with torch.no_grad():
output = net(input)123
torch.save(net, file)
net = torch.load(file)
torch.save(model.state_dict(), file)
net = Model()
net.load_state_dict(file)12345678
数据
载入数据
数据处理
构建迭代器
模型
loss
optimizer
新建/载入模型
新建
载入
直接载入模型
载入参数
新建模型
载入模型参数(对于adam等优化器,其参数也需载入)
训练
x_batch, y_batch = batch
outputs = net(x_batch)
loss = criterion(output, target)
optimizer.zero_grad()
loss.backward()
optimizer.step()1234567
每隔一段时间,打印验证集loss
每隔一段时间,存储模型
测试
数据处理
构建迭代器(可选)
放入模型,输出结果
计算accuracy
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:pytorch 入门指南 - Python技术站