机器学习

        在解决一些简单的分类问题时，线性回归与逻辑回归就足以应付，但面对更加复杂的问题时（例如对图片中车的类型进行识别），运用之前的线性模型可能就得不到理想的结果，而且由于更大的数据量，之前方法的计算量也会变得异常庞大。因此我们需要学习一个非线性系统：神经网络。         我在学习时，主要通过Andrew Ng教授提供的网络，而且文中多处都有借…

先引入一个经典的表,辅助我们, 这个表叫做混淆矩阵 准确率反映了模型模型做出正确预测的比例计算公式 \[Accuracy=\frac{TP+TN}{TP+TN+FP+FN} \] 准确率假设不同的分类是同等地位的，例如对猫狗洗好进行分类，问题中并没有对猫和狗有特定的侧重，因此在这里我们只强调于分类的正确度，即准确率。 优点 计算简单, 时间复杂度低 缺点 当…

bias–variance tradeoff 通过机器学习，我们可以从历史数据学到一个\(f\)，使得对新的数据\(x\)，可以利用学到的\(f\)得到输出值\(f(x)\)。设我们不知道的真实的\(f\)为\(\overline{f}\)，我们从数据中学到的\(f\)为\(f^{*}\)，实际上\(f^{*}\)是\(\overline{f}\)的一个估计…

LR（对数几率回归） 函数为\(y=f(x)=\frac{1}{1+e^{-(w^{T}x+b)}}\)。 由于输出的是概率值\(p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}},p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}\)，所以求解使用极大似然估计来求解参数\(w,b\)。为了方便表示，记\…

大纲 一、背景 二、算法目标 三、算法原理 1.术语 2.优缺点 2.算法原理(伪代码) (本文不解释FP树和条件模式基等的构建过程，此类图解在很多博文中已经介绍得很清楚，可以参见参考资料) 1.输入数据预处理：loadSimpDat()函数创建输入数据或输入数据并createInitSet(dataSet)初始化成后续函数需要的形式； 2.创建存储FP树的…

一、欧氏距离(Euclidean Distance)        1、定义：两点间的直线距离        2、公式：           （1）、二维平面a(x1,y1),b(x2,y2)的欧式距离           　　　（2）、三维平面a(x1,y1,z1),b(x2,y2,z2)的欧式距离      　　 　　3、代码实现： 以下python代码…

商场的销售过程，涉及很多机器学习的应用，商品的陈列，购物卷的提供，用户忠诚度等等，通过对这些大量数据的分析，可以帮组商店了解用户的购物行为，进而对商品的定价、市场促销、存货管理等进行决策帮组。从大规模数据集中寻找物品间的隐含关系被称作关联分析（association analysis）或关联学习(association rule learning). 关联分…

一，梯度下降法Gradient Decent 当我们以线性回归的模型来拟合我们的数据集时，我们如何来确定假设函数的参数值呢？ 首先我们以两个参数为例，即Hθ(x) = θ0 + θ1X，也就是一个一次函数，而代价函数，我们为了尽量拟合数据集，也就是选择合适的θ0（截距）， θ1(斜率)使代价函数J(θ0，θ1)最小， 那我们该如何计算θ0， θ1？ 假设θ0…

1. 机器学习中的常用分类器：回归、分类（确定是哪一类） 1）线性回归：根据给出的数据拟合出一条直线或曲线，反应数据的分布； 评判的准则或损失函数：统计所有预测值yi及对应实际值y之间的距离之和，使其最小化； 理解，参考：  线性回归：https://blog.csdn.net/wade1203/article/details/96411653  三种回归算…

评估指标的局限性 准确率（Accuracy） \(\text{Accuracy} = \dfrac{n_{correct}}{n_{total}}\) 样本不均衡时，不准确 改进：平均准确率 精确率(Precision)和召回率(Recall) 精确率：分类正确的正样本个数占分类器判定为正样本的样本个数比例 召回率：分类正确的正样本个数占真正的正样本个数的比…