深度学习
-
深度学习变革视觉计算总结（CCF-GAIR）
孙剑博士分享的是《深度学习变革视觉计算》，分别从视觉智能、计算机摄影学和AI计算三个方面去介绍。 他首先回顾了深度学习发展历史，深度学习发展到今天并不容易，过程中遇到了两个主要障碍： 第一，深度神经网络能否很好地被训练。在深度学习获得成功之前曾被很多人怀疑，相比传统的机器学习理论，深度学习神经网络的参数要比数据大10倍甚至上百倍； 第二，当时的训练过程非…
-
[译]深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)
译自：http://sebastianruder.com/multi-task/ 1. 前言 在机器学习中，我们通常关心优化某一特定指标，不管这个指标是一个标准值，还是企业KPI。为了达到这个目标，我们训练单一模型或多个模型集合来完成指定得任务。然后，我们通过精细调参，来改进模型直至性能不再提升。尽管这样做可以针对一个任务得到一个可接受得性能，但是我们可能忽…
-
深度学习之TensorFlow（一）——基本使用
一、目前主流的深度学习框架Caffe, TensorFlow, MXNet, Torch, Theano比较 库名称 开发语言 速度 灵活性 文档 适合模型 平台 上手难易 Caffe c++/cuda 快 一般 全面 CNN 所有系统 中等 TensorFlow c++/cuda/Python 中等 好 中等 CNN/RNN Linux, OSX 难 MX…
-
从统计学角度来看深度学习（2）：自动编码器和自由能
原文链接：http://blog.shakirm.com/2015/03/a-statistical-view-of-deep-learning-ii-auto-encoders-and-free-energy/ 作者：Shakir Mohamed 翻译：钟琰 审校：何通 编辑：王小宁 本文得到了原英文作者Shakir Mohamed的授权同意…
-
深度学习面试题25：分离卷积(separable卷积)
举例 单个张量与多个卷积核的分离卷积 参考资料 举例 分离卷积就是先在深度上分别卷积，然后再进行卷积，对应代码为： import tensorflow as tf # [batch, in_height, in_width, in_channels] input =tf.reshape(tf.constant([2,5,3,3,8,2,6,1…
-
深度学习面试题24：在每个深度上分别卷积(depthwise卷积)
举例 单个张量与多个卷积核在深度上分别卷积 参考资料 举例 如下张量x和卷积核K进行depthwise_conv2d卷积 结果为： depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积，然后求和，depthwise_conv2d没有求和这一步，对应代码为： import tensorflow as tf…
-
深度学习面试题23：批次张量和卷积核的简易定义方式
直接定义的缺点 简易定义的方式 参考资料 直接定义的缺点 在tensorflow中假设有一批输入为： 其定义如下： tf.constant([ [ [ [3, 1, -3], [1, -1, 7] ], [ [-2, 2, -5], [2, 7, 3] ] ], [ [ [-1, 3, 1], [-3, -8, 6] ], [ [4, 6, …
-
深度学习面试题10：二维卷积（Full卷积、Same卷积、Valid卷积、带深度的二维卷积）
二维Full卷积 二维Same卷积 二维Valid卷积 三种卷积类型的关系 具备深度的二维卷积 具备深度的张量与多个卷积核的卷积 参考资料 二维卷积的原理和一维卷积类似，也有full卷积、same卷积和valid卷积。 举例：3*3的二维张量x和2*2的二维张量K进行卷积 二维Full卷积 Full卷积的计算过程是：K沿着x从左到…
-
深度学习面试题08：梯度消失与梯度爆炸
梯度消失 梯度爆炸 参考资料 以下图的全连接神经网络为例，来演示梯度爆炸和梯度消失： 梯度消失 在模型参数w都是(-1,1)之间的数的前提下，如果激活函数选择的是sigmod(x)，那么他的导函数σ’(x)的值域为(0,0.25]，即如下三项的范围都是(0,0.25] 那么w1的导数会有很多(0,0.25]范围的数累乘，就会造成w1的导数…
-
深度学习面试题09：一维卷积（Full卷积、Same卷积、Valid卷积、带深度的一维卷积）
一维Full卷积 一维Same卷积 一维Valid卷积 三种卷积类型的关系 具备深度的一维卷积 具备深度的张量与多个卷积核的卷积 参考资料 一维卷积通常有三种类型：full卷积、same卷积和valid卷积，下面以一个长度为5的一维张量I和长度为3的一维张量K（卷积核）为例，介绍这三种卷积的计算过程 一维Full卷积 Fu…
