其实我们在做线性回归也好，分类（逻辑斯蒂回归）也好，本质上来讲，就是把数据进行映射，要么映射到一个多个离散的标签上，或者是连续的空间里面，一般简单的数据而言，我们很好拟合，只要线性变化一下，然后学习出最好的W就可以了，但是对于一些比较复杂的数据怎么办呢？比如说，对于一个二分类问题，特别是高纬度复杂化之后，数据不一定是线性可分的，这个时候，我们的basis function隆重登场，我们可以把数据进行一定的映射，转变，非线性的线性的，转变之后，就可以进行分类，最明显的例子在andrew NG在讲SVM里面的例子就很好的说明了，但是这个时候问题来了，对于一个很复杂，高维度的数据，我们如何才能找到最好的basis function呢？这个时候，神经网络隆重登场，我们把我们的basis function打开来，我们把误差转递到basis function的里面，通过这样的方式，来得到最好的basis function，同理，我们可以无限打开basis function，一直打开，对应的也就是一层神经网络（具体出自于prml关于神经网络的章节最开始简介的部分），但是问题来了，对于图片怎么办？我们知道，对于图片而言，图片是一个二维度的数据，我们怎样才能通过学习图片正确的模式来对于一张图片有正确的对于图片分类呢？这个时候，有人就提出了一个观点，我们可以这样，对于所有的像素，全部都连接上一个权值，我们也分很多层，然后最后进行分类，这样也可以，但是对于一张图片来说，像素点太多，参数太多了。然后就有人提出来，我们只看一部分怎么样，就是对于一张图片来说，我们只看一个小窗口就可以了，对于其他的地方，我们也提供类似的小窗口，我们知道，当我们对图片进行卷积的时候，我们可以对图片进行很多操作，比如说图片整体模糊，或者是边缘的提取，卷积操作对于图片来说可以很好的提取到特征，而且通过BP误差的传播，我们可以根据不同任务，得到对于这个任务最好的一个参数，学习出相对于这个任务的最好的卷积核，之所以权值共享的逻辑是：如果说一个卷积核在图片的一小块儿区域可以得到很好的特征，那么在其他的地方，也可以得到很好的特征。

这就有了alex net的提出，通过对图片进行五层（不知道有没有记忆错误）的卷积，然后后面三层的全连接，我们可以得到一个很好的结果，特别的相对于更大的数据集而言，最好参数越多越好，也就是网络最好更加深，更加的宽。

但是神经网络到底是什么？对于一批数据我们有很多的问题，为什么设置五层最好，batchsize多少比较好，每一层多少个卷积核（这个到现在我依旧没有一个更好的解释，每一个应该多少卷积核），宽度多少？要不要LRN？每一层都代表了什么？

 

 

参考：http://mp.weixin.qq.com/s?__biz=MzA5ODUxOTA5Mg==&mid=2652550219&idx=2&sn=fcb6f7359fa750ca9c9880242c23297d&scene=1&srcid=0926rorCx7GyQY0W7c38ANK6#rd