深度学习

 自己建立一个工程，希望调用libcaffe.lib ，各种配置好，也能成功编译，但是运行就会遇到报错 F0519 14:54:12.494139 14504 layer_factory.hpp:77] Check failed: registry.count(t ype) == 1 (0 vs. 1) Unknown layer type: Input (…

caffe团队用imagenet图片进行训练，迭代30多万次，训练出来一个model。这个model将图片分为1000类，应该是目前为止最好的图片分类model了。 假设我现在有一些自己的图片想进行分类，但样本量太小，可能只有几百张，而一般深度学习都要求样本量在1万以上，因此训练出来的model精度太低，根本用不上，那怎么办呢？ 那就用caffe团队提供给我…

深度学习框架的内存优化机制   https://blog.csdn.net/u014380165/article/details/77341201   这篇博文简单介绍下深度学习框架的内存优化方式，主要参考资料1，也就是MXNet的官方文档。内存优化方式主要包括：in-place operation和memory sharing两种，二者在本质上没有太大差别…

一、总结 一句话总结： (A)、【短期记忆】：循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络，适合用于处理视频、语音、文本等与时序相关的问题。 (B)、【接收自身信息】：在循环神经网络中，神经元不但可以接收其他神经元的信息，还可以接收自身的信息，形成具有环路的网络结构。 (C)、【梯度爆炸或梯度消失】…

一、总结 一句话总结： Flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。Flatten不影响batch的大小。 # now：model.output_shape==(None,64,32,32) model.add(Flatten()) # now: model.output_shape==(None,65536) …

http://www.zhizihua.com/blog/post/602.html 说明：本教程将阐述无监督特征学习和深度学习的主要观点。通过学习，你也将实现多个功能学习/深度学习算法，能看到它们为你工作，并学习如何应用/适应这些想法到新问题上。 本教程假定机器学习的基本知识（特别是熟悉的监督学习，逻辑回归，梯度下降的想法），如果你不熟悉这些想法，我们建议…

参考文献：深度学习如何提取特征   引题： 一个粗糙的想法，简单粗暴： 法1：每幅图我让机器一个一个像素看，从像素来说，它最能准确地表达某个具体的物体具体的姿势。可以想到，来了一个像素，你能干嘛，你能判断它是谁？逐像素，你只能：（1）对比一张图片和你有损压缩之后相差多少（2）设一个阀值，然后灰度分级。一旦涉及特征，不会只是像素（尽管有raw features…

参考文献：   特征提取： 　　在深度学习中，下层携带的信息量会大于上层的信息量。最下层被认为是基。譬如高维空间中，总有一组完备基。任何一个向量都可以通过完备基线性表示。这是，经过多层表示，后面的各个向量组成的矩阵的秩小于等于其下一层个向量组成矩阵的秩当然，我们这里一开始引入时，也认为任何一幅图可以表示为400张图的线性组合。 　　但实际深度学习中的层还有一…

【深度学习理论】一文看懂卷积神经网络 https://mp.weixin.qq.com/s/wzpMtMFkVDDH6scVcAdhlA 选自Medium 作者： Pranjal Yadav 经机器之心授权，禁止二次转载 参与：Nurhachu Null、路雪 本文主要介绍了神经网络中的卷积神经网络，适合初学者阅读。   概述 深度学习和人工智能是 2016…

一、总结 一句话总结： 1)、好的开始是成功的一半，为了让你的模型跑赢在起跑线 ，请慎重对待参数初始化。 2)、tf的初始化器包括：tf.initializers.he_normal()、tf.initializers.truncated_normal()、tf.contrib.layers.xavier_initializer() 这三种。   1、全零初…