机器学习

知识点 scikit-learn 对于线性回归提供了比较多的类库，这些类库都可以用来做线性回归分析。 我们也可以使用scikit-learn的线性回归函数，而不是从头开始实现这些算法。 我们将scikit-learn的线性回归算法应用于编程作业1.1的数据，并看看它的表现。 一般来说，只要觉得数据有线性关系，LinearRegression类是我们的首选。如…

　　whitening (白化)这个词，可能在深度学习领域比较常遇到，其实whitening 是一个比PCA稍微高级一点的算法而已，所以如果熟悉PCA，那么其实会发现这是一个非常简单的算法。 　　假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的；whitening （白化）的目的就是降低输入的冗余性。输入数据集X，经过白…

目录 PCA 1. PCA最大可分性的思想 2. 基变换（线性变换） 3. 方差 4. 协方差 5. 协方差矩阵 6. 协方差矩阵对角化 7. PCA算法流程 8. PCA算法总结 PCA 就是找出数据最主要的方面，用数据里最主要的方面来代替原始数据。 PCA 是最重要的降维方法之一，在数据压缩、消除冗余和数据噪音消除等领域都有广泛的应用。 1. PCA最大…

转自：《机器学习》 周志华版（西瓜书）–课后参考答案 – 时间&煮雨~ – 博客园   http://www.cnblogs.com/fwl8888/p/9852597.html 版本一 第一章 绪论  http://blog.csdn.net/icefire_tyh/article/details/52065224 第二章 模型评估与选择  ht…

继续第二篇笔记中的例子。   3.不断的迭代与探索的过程 从上篇的图看到，直线并不能很好的代表week4以后的趋势。既然一阶函数不行，我们试试二阶函数？ f（x）= ax**2 + bx + c 继续使用polyfit这个函数来确定a，b，c的值： f2p =sp.polyfit(x,y,2) print f2p 上述代码得到了一个数组 [ 1.053222…

机器学习的目标：通过若干实例让机器学会完成任务。 统计学是机器学习专家经常研究的一个领域。 机器学习的方法不是瀑布式的过程，需要反复分析，探索，尝试。 Python被作者认为是一种非常有效的建模语言。 一个观点：算法不是最花时间的，花时间的是： 1.读取和清洗数据。 2.探索和理解输入数据。 3.分析如何最好的将数据呈现给学习算法。 4.选择正确的模型和学习…

表达模型 变量表示： x(i) : 第 i 个输入变量，也称为输入特征 y(i) : 第 i 个输入变量，即我们希望预测的内容 (x(i), y(i)) ; i = 1,…,m : 表示一个训练集 X : 输入值空间； Y ： 输出值空间   模型的表达： 对于监督学习来说，就是给定一个训练集，输出一个函数 h:X –> Y，使函数 h(x) 能…

  出发点 　　一旦判别函数的形式确定下来，不管它是线性的还是非线性的，剩下的问题就是如何确定它的系数。 　　在模式识别中，系数确定的一个主要方法就是通过对已知样本的训练和学习来得到。 　　感知器算法就是通过训练样本模式的迭代和学习，产生线性（或广义线性）可分的模式判别函数。 基本思想 　　采用感知器算法(Perception Approach)能通过对训练…

概率论和数理统计 随机事件和概率 1.事件的关系与运算 (1) 子事件：  ，若  发生，则  发生。 (2) 相等事件：  ，即  ，且  。 (3) 和事件：  （或  ），  与  中至少有一个发生。 (4) 差事件：  ，  发生但  不发生。 (5) 积事件：  （或  ），  与  同时发生。 (6) 互斥事件（互不相容）：  。 (7) 互逆事…

一、贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率，生活中，我们可能很容易知道P（A|B），但是我需要求解P（B|A），学习了贝叶斯定理，就可以解决这类问题，计算公式如下：     P（A）是A的先验概率 P（B）是B的先验概率 P（A|B）是A的后验概率（已经知道B发生过了） P（B|A）是B的后验概率（已经知道A发生过了） 二、朴素贝叶斯分类 朴素…