机器学习

基本思想是，把特征的线性加权值作为一个分数，根据这个分数与一个门限值的关系来进行分类： 我们加一个特征x0等于1，门限值就可以放到w里面去，得到更简单的形式： 这就是感知机模型，对应一个分离超平面。   2 如何来学习感知机 “知错能改”原则：找到一个误分类点，就尝试去修正它。具体的修正过程如下： 当找到一个误分类点时，如果y本来是+1，则说明现在的w与x的…

1 为什么随机梯度下降法能work？ https://www.zhihu.com/question/27012077中回答者李文哲的解释   2 随机梯度下降法的好处？ （1）加快训练速度（2）噪音可以使得跳出局部最优   3 权衡方差和偏差： 偏差反映的是模型的准确度（对训练数据的吻合程度），方差则反映模型的稳定性（对测试数据的泛化能力）。模型越复杂，偏差…

上一节我们证明了，当假设空间的大小是M时，可以得到概率上界： 即，只要训练数据量N足够大，那么训练集上的Ein与真实的预测错误率Eout是PAC（大概率）接近的。   但是，我们上面的理论只有在假设空间大小有限时才成立，如果假设空间无限大，右边的概率上界就会变成无限大。 事实上，右边的边界是一个比较弱的边界，这一节我们要找出一个更强的边界，来证明我们的机器学…

假设有一个罐子装满了橙色和绿色的球，为了估计罐子中橙色和绿色的比例，我们随机抓一把球，称为样本： 其中，设罐子中橙色球的比例为μ，样本中橙色球比例为v，样本的大小为N，我们对真实分布μ和样本分布v的差异容忍度为ε，则有下面的不等式成立： 也就是存在一个概率上界，只要我们保证样本容量N很大，就能使得“μ和v的差异大”这件事的概率是很小的。   2 对于一个假设…

（注：本文内容和图片来源于林轩田老师的《机器学习基石》课程） 通常的二分类问题，希望输出类别；soft的二分类问题，希望输出概率值：   对于soft问题的理想数据和实际数据：   逻辑回归的思想：先求出特征的线性加权分数，再把它用逻辑斯蒂函数转化为0～1之间的值：     逻辑斯蒂函数介绍：     2 逻辑回归的损失函数 最大似然：将训练集产生的概率最大…

我们知道，soft-SVM的一般形式是： 这里我们把松弛变量ξn写成下面的形式（这里其实就是松弛变量的定义，如果这个点不违反硬条件，则它的松弛变量为0，否则的话，松弛变量的值就是它到底违反了多少，即yn(w*xn + b)与1的差值）: 这样写之后，原问题的约束条件已经被包含进来了。因此原问题变为下面的无约束形式：   2 soft-SVM与逻辑回归的联系 …

首先，直接给出AdaBoost算法的核心思想是：在原数据集上经过取样，来生成不同的弱分类器，最终再把这些弱分类器聚合起来。 关键问题有如下几个： （1）取样怎样用数学方式表达出来； （2）每次取样依据什么准则； （3）最后怎么聚合这些弱分类器。   首先我们看第一个问题，如何表示取样？答案使用原数据集上的加权error。 假设我们对数据集D做的取样如下： 那…

决策树可以看作非线性的模型聚合： 递归形式是： 其中，G(x)表示决策树对应的函数，b(x)表示分叉的规则，Gc(x)是子树的模型。   2 一般决策树生成算法的框架 即，学习划分规则b(x)，然后把数据按照b(x)划分为C部分，对每一部分递归地生成子树。注意递归在一定条件停止，直接返回一个g(x)。   事实上，不同的决策树算法，都是这个基本的框架。不同的…

文章迁移说明：此文已由lightinglei于2019-02-15发布，是本人的另外一个账号，现同步迁移至本账号 1、决策树的定义 决策树是一种基本分类与回归的方法，本文主要讲述的是分类的决策树，决策树模型呈树型结构，如下图1所示， 决策树主要由节点和有向边组成，节点主要分为内部结点和叶节点，内部节点表示一个特征或属性，内部节点包括：根节点、父节点、子节点，…

文章迁移说明：此文已由lightinglei于2019-02-18发布，是本人的另外一个账号，现同步迁移至本账号 一、朴素贝叶斯原理介绍 书籍上对概念的介绍，因引入了很多数学符号，看起来比较晦涩难懂，下面我们以案例的形式先带大家回顾下概率的一些基本知识点，下表为互联网行业不同岗位、不同体重是否会被女神喜欢（纯属虚构，哈哈~） 先通过几个小问题回顾下知识点： …