深度学习
-
斯坦福大学深度学习与自然语言处理第二讲词向量
斯坦福大学深度学习与自然语言处理第二讲:词向量 9条回复 斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程:CS224d: Deep Learning for Natural Language Processing,授课老师是青年才俊 Richard Socher,以下为相关的课程笔记。 第二讲:简单的词向量表示:word2vec, Glove(…
-
深度学习 Fine-tune 技巧总结
深度学习中需要大量的数据和计算资源(乞丐版都需要12G显存的GPU – -)且需花费大量时间来训练模型,但在实际中难以满足这些需求,而使用迁移学习则能有效 降低数据量、计算量和计算时间,并能定制在新场景的业务需求,可谓一大利器。 迁移学习不是一种算法而是一种机器学习思想,应用到深度学习就是微调(Fine-tune)。通过修改预训练网络模型结构(如修改样本类别…
-
当深度学习遇上异构并行计算
近几年来,以深度神经网络(DNN)为代表的深度学习如火如荼,深度学习的研究领域从开始的图像识别(如imagenet比赛)到现在的自然语言处理,几乎有席卷一切机器学习研究领域的趋势。 对于深度神经网络的训练来说,通常网络越深,需要的训练时间越长。对于一些网络结构来说,如果使用串行的X86 处理器来训练的话,可能需要几个月、甚至几年,因此必须要使用并行甚至是异构…
-
如何理解深度学习中分布式训练中large batch size与learning rate的关系
转自:https://www.zhihu.com/people/xutan 最近在进行多GPU分布式训练时,也遇到了large batch与learning rate的理解调试问题,相比baseline的batch size,多机同步并行(之前有答案是介绍同步并行的通信框架NCCL(谭旭:如何理解Nvidia英伟达的Multi-GPU多卡通信框架NCCL?)…
-
深度学习分布式训练
转自:https://blog.csdn.net/xs11222211/article/details/82931120#commentBox 本系列博客主要介绍使用Pytorch和TF进行分布式训练,本篇重点介绍相关理论,分析为什么要进行分布式训练。后续会从代码层面逐一介绍实际编程过程中如何实现分布式训练。 文章目录 常见的训练方式 单机单卡(单GPU) …
-
重磅!神经网络浅讲:从神经元到深度学习
http://www.open-open.com/lib/view/open1452752687042.html 图1 人脑神经网络 神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向–深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度学习技术。 本文以一种简单的,循序的方式讲解神经网络。适合对神…
-
深度学习之江湖~那些大神们
转载自http://www.hdb.com/article/6eju 深度学习江湖目前有四座山头,分别是:Geoff Hinton、Yann Lecun、Yoshua Bengio、Andrew Ng。这里面Geoff Hinton去年加入Google搞Google Brain, Yann Lecun去年加入Facebook任人工智能研究室主任,最新的消息A…
-
深度学习之自编码器 示例
最近学习DeepLearning, 在网上找到了一个自编码器的代码,运行以下,还比较好用,分享如下。由于代码出处无处可考,故不予特殊说明。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- “”” Created on Mon Jan 1 12:45:57 2018 @author: pc “”” impo…
-
强化学习 车杆游戏 DQN 深度强化学习 Demo
网上搜寻到的代码,亲测比较好用,分享如下。 import gym import time env = gym.make(‘CartPole-v0’) # 获得游戏环境 observation = env.reset() # 复位游戏环境,新一局游戏开始 print (‘新一局游戏 初始观测 = {}’.format(observation)) for t i…
-
深度学习 循环神经网络 LSTM 示例
最近在网上找到了一个使用LSTM 网络解决 世界银行中各国 GDP预测的一个问题,感觉比较实用,毕竟这是找到的唯一一个可以正确运行的程序。 #encoding:UTF-8 import pandas as pd from pandas_datareader import wb import torch import torch.nn impo…