PyTorch
-
pytorch训练模型的一些坑
1. 图像读取 opencv的python和c++读取的图像结果不一致，是因为python和c++采用的opencv版本不一样，从而使用的解码库不同，导致读取的结果不同。 详细内容参考：https://www.cnblogs.com/haiyang21/p/11655404.html 2. 图像变换 PIL和pytorch的图像resize操作，与openc…
-
PyTorch项目使用TensorboardX进行训练可视化
什么是TensorboardX Tensorboard 是 TensorFlow 的一个附加工具，可以记录训练过程的数字、图像等内容，以方便研究人员观察神经网络训练过程。可是对于 PyTorch 等其他神经网络训练框架并没有功能像 Tensorboard 一样全面的类似工具，一些已有的工具功能有限或使用起来比较困难 (tensorboard_logger, …
-
Pytorch学习笔记16—-CNN或LSTM模型保存与加载
1.三个核心函数 介绍一系列关于 PyTorch 模型保存与加载的应用场景，主要包括三个核心函数： (1)torch.save 其中，应用了 Python 的 pickle 包，进行序列化，可适用于模型Models，张量Tensors，以及各种类型的字典对象的序列化保存. (2)torch.load 采用 Python 的 pickle 的 unpickli…
-
Pytorch学习笔记14—-torch中相关函数使用：view函数、max()函数、squeeze()函数
1.View函数 把原先tensor中的数据按照行优先的顺序排成一个一维的数据（这里应该是因为要求地址是连续存储的），然后按照参数组合成其他维度的tensor。比如说是不管你原先的数据是[[[1,2,3],[4,5,6]]]还是[1,2,3,4,5,6]，因为它们排成一维向量都是6个元素，所以只要view后面的参数一致，得到的结果都是一样的。 小案例： im…
-
Pytorch学习笔记17—-Attention机制的原理与softmax函数
1.Attention（注意力机制） 上图中，输入序列上是“机器学习”，因此Encoder中的h1、h2、h3、h4分别代表“机”,”器”,”学”,”习”的信息，在翻译”macine”时，第一个上下文向量C1应该和”机”,”器”两个字最相关，所以对应的权重a比较大，在翻译”learning”时，第二个上下文向量C2应该和”学”,”习”两个字最相关，所以”…
-
【Pytorch】关于torch.matmul和torch.bmm的输出tensor数值不一致问题
发现 对于torch.matmul和torch.bmm，都能实现对于batch的矩阵乘法： a = torch.rand((2,3,10))b = torch.rand((2,2,10))### matmal()res1 = torch.matmul(a,b.transpose(1,2))print res1 “””…[torch.FloatTensor…
-
pytorch笔记：09)Attention机制
刚从图像处理的hole中攀爬出来，刚走一步竟掉到了另一个hole（fire in the hole*▽*） 1.RNN中的attentionpytorch官方教程：https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html首先，RNN的输入大小都是(1,1,hidd…
-
PyTorch实现Seq2Seq机器翻译
Seq2Seq简介 Seq2Seq由Encoder和Decoder组成，Encoder和Decoder又由RNN构成。Encoder负责将输入编码为一个向量。Decoder根据这个向量，和上一个时间步的预测结果作为输入，预测我们需要的内容。 Seq2Seq在训练阶段和预测阶段稍有差异。如果Decoder第一个预测预测的输出就错了，它会导致“蝴蝶效应“，影响后…
-
手把手教你用Pytorch-Transformers——实战（二）
本文是《手把手教你用Pytorch-Transformers》的第二篇，主要讲实战 手把手教你用Pytorch-Transformers——部分源码解读及相关说明（一） 使用 PyTorch 的可以结合使用 Apex ，加速训练和减小显存的占用 PyTorch必备神器 | 唯快不破：基于Apex的混合精度加速 github托管地址：https://githu…
-
基于pytorch框架的手写数字识别(mnist数据集)
前段时间开始学习pytorch，学习了一点pytorch的小语法，在网上找到了pytorch入门写CNN的代码，自己尝试读懂加上注释。更多的了解一下pytorch，代码注释写的还算清楚，在阅读代码之前可以看一下我收获的知识都是在代码里遇到的不会的语句，我自己通过阅读别博客获取的知识，大多数都是torch在读取数据的操作。先读一下这个有利于阅读代码。 收获的知…
