深度学习

在过去的一年里，我和我的团队一直致力于为 Taboola feed 提供个性化用户体验。我们运用多任务学习（Multi-Task Learning，MTL），在相同的输入特征集上预测多个关键性能指标（Key Performance Indicator，KPI），然后使用 TensorFlow 实现深度学习模型。回想最初的时候，我们感觉（上手）MTL 比现在要…

一、硬件环境 ubuntu 16.04LTS + windows10 双系统 NVIDIA TiTan XP 显卡（12G）   二、软件环境 搜狗输入法 下载地址 显卡驱动：LINUX X64 (AMD64/EM64T) DISPLAY DRIVER (418.56)  下载地址 CUDA：Cuda9.0  下载地址 CUDNN：cuDNN v7.5.0 …

传统的神经网络中采用的是BP算法，存在的主要问题： 数据获取问题 我们需要依赖于有标签的数据才能进行训练。然而有标签的数据通常是稀缺的，因此对于许多问题，我们很难获得足够多的样本来拟合一个复杂模型的参数。例如，考虑到深度网络具有强大的表达能力，在不充足的数据上进行训练将会导致过拟合。  局部极值问题 使用监督学习方法来对浅层网络（只有一个隐藏层）进行训练通常…

介绍 过去两年的大部分时间，我几乎都在深度学习领域工作。这是一个相当好的经历，这中间我参与了图像和视频数据相关的多个项目。 在那之前，我处于边缘地带，我回避了对象检测和人脸识别等深度学习概念。直到2017年底才开始深入研究。在这段时间里，我遇到了各种各样的难题。我想谈谈四个最常见的问题，大多数深度学习实践者和爱好者在他们的旅程中都会遇到。 如果你之前参与过深…

现状： 1. 目前大家对于大部分需求，通常采用multiple layer，units in each layer也是人工订好的（虽然可以做稀疏，但是在same layer范围内竞争）。 2. 网络结构(或connection paradigm)常用的有3种： 　　　　DNN(或DBN)中full connection，各个weight独立看待； 　　　　C…

0 前言 近段时间，由于工作需要，一直在看深度学习的各种框架，主要是Caffe和Tensorflow。并且在可预见的未来，还会看更多不同的深度学习框架。最开始我是以软件工程师的角度去阅读这些框架的，说实话，Caffe的代码框架逻辑清晰相对好理解一点，而TensorFlow就比较麻烦了，里面内容太多，函数调用链非常长，且使用了大量的C++11语法，这对于C++…

一、总结 一句话总结： 过滤器的权重是随机初始化的 只有卷积核学习到不同的特征，才会减少成本函数 随机初始化的权重可能会确保每个过滤器收敛到成本函数的不同的局部最小值。每个过滤器开始模仿其他过滤器是不可能的，因为这几乎肯定会导致成本函数的增加，梯度下降算法不会让模型朝这个方向发展。     二、CNN的多个卷积核为什么能提取到不同的特征 转自或参考：CNN的…

来自：CVPR 2014   作者：Yi Sun ，Xiaogang Wang，Xiaoao Tang 题目：Deep Learning Face Representation from Predicting 10,000 Classes 主要内容:通过深度学习来进行图像高级特征表示（DeepID），进而进行人脸的分类。 长处：在人脸验证上面做，能够非常好的…

本文为学习“UFLDL Softmax回归”的笔记与代码实现，文中略过了对代价函数求偏导的过程，本篇笔记主要补充求偏导步骤的详细推导。 1. 详细推导softmax代价函数的梯度 经典的logistics回归是二分类问题，输入向量$ x{(i)}\in\Re{n+1}$ 输出0,1判断\(y^{(i)}\in{\{0,1\}}\)，Softmax回归模型是一…

https://mp.weixin.qq.com/s/swLwla75RIQfyDDCPYynaw 作者 | 张俊林 责编 | 何永灿   最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。 本文以机器翻译为例，深入浅出地介绍了…