AI系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力，这种能力被称为机器学习。

　　　　一个称为逻辑回归的简单机器学习算法可以可以决定是否跑妇产，这种能力被称为逻辑回归。

　　　　区分垃圾电子邮件和合法电子邮件，这种能力的算法是朴素贝叶斯算法。

　　　　这些简单的机器学习算法的性能在很大程度上依赖于给定数据的表示。

　　　　表示学习算法的典型例子是自编码器

　　　　自编码器是由一个编码器函数和一个解码器函数组合而成，编码器函数将输入数据转化为一种不同的表示，而解码器又将函数则将这个新的表示转换回原来的形式。

　　　　当设计特征或设计用于学习特征的算法时，我们的目标通常是分离出能解释的观察数据的变差因素

　　　　大多数应用需要我们理清变差因素并忽略我们不关心的因素

　　　　深度学习的模型的典型的例子是前馈深度网网络或多层感知机，多层感知机仅仅是一个将一个组输入值映射到输出值的数学函数，该函数由许多简单的的函数符合而成我们可以认为不同函数的每一次应用都为输入提供了新的表示。　　　　

　　　　深度学习加个所需的复杂隐身分解为一系列嵌套的简单映射(每个由模型的不同层描述)来解决这个难题。输入展示在可见层，这样命名的原因包含我们能观察到的变量。然后是一系列从图像中提取越来越多抽象特征的隐藏层。因为他们的值不在数据中给出，所以这些层称为隐藏层。

 

1介绍

2线性代数　　3概率论和信息论　　4数值计算　　5机器学习基础

6深度前馈学习网络　　7正则化　　8优化　　9卷积神经网络　　10循环神经网络　　11实践方法论　　12应用

13线性因子模型　　14自编码器　　15表示学习　　16结构化概率模型　　17蒙特卡洛方法　　18配分函数　　19推断　　20深度生成模型

 

　　　　感知机成为第一个能根据每个类别的输入样本来学习权重的模型。大约在同时期，自适应性单元（ADALINE）简单地返回函数f（x）本身的值来预测一个实数，并且他还可以学习从数据预测这些数。

　　　　这些简单的学习算法大大影响了机器学习的现代景象。用于调节ADALINE权重的训练算法被称为随机梯度下降

　　　　线性模型的局限性导致神经网络第一次大衰退：无法学习异或函数（XOR）

　　　　目前大多数神经网络是基于一个称为整流线性单元的神经模型

　　　　神经网络研究的第二次浪潮是在联结主义或并行分布式处理，其中一个概念是分布式表示：大量简单的计算单元联合在一起构成实现智能行为。

　　　　神经网络的第二次浪潮持续到20世纪90年代中期，AI研究实现了核方法和图模型，但还是不能做出某些不合理的期望。

　　　　神经网络的第三次浪潮实现与2006年的突破，提出了“贪婪逐层训练”策略来有效的训练，这样训练具有普遍性，可以系统的提高测试样例上的泛化能力。深度学习强调了研究者现在有能力训练以前不可能训练的比较深的神经网络，并着力于深度的理论重要性。

　　　　当下的人工智能得以普及源于：1大量数据。2大量神经元的联结

　　　　2017年的AlphaGo：hero出现的时刻。理论神经深度已经到达了100层+ （当然你这里涉及到了论文查看网址了）