深度学习
-
深度学习多机多卡解决方案-purine
未经允许请不要转载，原作者：zhxfl，http://www.cnblogs.com/zhxfl/p/5287644.html 目录： 一、简介 二、环境配置 三、运行demo 四、硬件配置建议 五、其他 一、简介 深度学习多机多卡集群已经成为主流，相对于caffe和mxnet这两个比较活跃的开源，purine显得更值得在高校的学生细读，因为purine…
-
《动手学深度学习》系列笔记 —— 语言模型（n元语法、随机采样、连续采样）
目录 1. 语言模型 2. n元语法 3. 语言模型数据集 3.1 读取数据集 3.2 建立字符索引 4. 时序数据的采样 4.1 随机采样 4.2 相邻采样 一段自然语言文本可以看作是一个离散时间序列，给定一个长度为\(T\)的词的序列\(w_1, w_2, \ldots, w_T\)，语言模型的目标就是评估该序列是否合理，即计算该序列的概率： \[P(w…
-
《动手学深度学习》系列笔记 —— 过拟合、欠拟合极其解决方案(权重衰减法、丢弃法)
1 训练误差和泛化误差 训练误差（training error）：模型在训练数据集上表现出的误差。 泛化误差（generalization error）：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函…
-
通过深度可视化剖析持续学习中的灾难性遗忘
Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization 解释深度神经网络的行为（通常被认为是黑匣子）是至关重要的，尤其是当它们已被人类生活的各个方面广泛采用时。结合可解释人工智能的发展，本文提出了一种名为Auto DeepVis的新技术，用于剖析持续学习中的…
-
深度学习笔记之【随机梯度下降（SGD）】
几乎所有的深度学习算法都用到了一个非常重要的算法：随机梯度下降（stochastic gradient descent,SGD) 随机梯度下降是梯度下降算法的一个扩展 机器学习中一个反复出现的问题： 好的泛化需要大的训练集，但是大的训练集的计算代价也更大 机器学习算法中的代价函数通常可以分解成每个样本的代价函数的总和。 训练数据的负条件对数似然函数可以写…
-
深度学习环境配置: 英伟达RTX2060 + CUDA 10.0 + cuDNN 7.5.0
前言 拿到了新本本,就迫不及待想要开始配置好torch的深度学习环境了. 本本是MECHREVO深海系列的Z2-R, CPU i7-9750, 独立显卡英伟达RTX-2060 (性价比还算不错, 再加上本身的轻薄游戏本特性, 对我这种天天码代码偶尔打dota2的太合适了). 这篇博客主要记录CUDA 10.0 + cuDNN 7.5.0的安装配置流程. 资源…
-
吴恩达 — 神经网络与深度学习 — L1W3练习
第三周 – 浅层神经网络 第 21 题 以下哪项是正确的？（选出所有正确项） A.\(a^{[2](12)}\)是第12层，第2个训练数据的激活向量 B.\(X\)是一个矩阵，其中每个列是一个训练数据 C.\(a^{[2]}_4\)是第2层，第4个训练数据的激活输出 D.\(a^{[2]}_4\)是第2层，第4个神经元的激活输出 E.\(a^{[2]}\)表…
-
吴恩达深度学习中reshape图片数据的用法
train_set_x_flatten = train_set_x_orig.reshape(train_set_x_orig.shape[0],-1).T test_set_x_flatten = test_set_x_orig.reshape(test_set_x_orig.shape[0],-1).T 在吴恩达教授深度学习教学视频中，发现这个numpy…
-
深度学习之迁移学习
迁移学习概述背景随着越来越多的机器学习应用场景的出现，而现有表现比较好的监督学习需要大量的标注数据，标注数据是一项枯燥无味且花费巨大的任务，所以迁移学习受到越来越多的关注。传统机器学习(主要指监督学习) 基于同分布假设 需要大量标注数据 然而实际使用过程中不同数据集可能存在一些问题，比如 数据分布差异 标注数据过期 训练数据过期，也就是好不容易标定的数据要被…
-
激活函数 深度学习中的激活函数 激活函数，Batch Normalization和Dropout 激活函数–（Sigmoid，tanh，Relu，maxout）
一、 什么是激活函数 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网…
