机器学习

对于数据挖掘，数据准备阶段主要就是进行特征工程。    数据和特征决定了模型预测的上限，而算法只是逼近了这个上限。   好的特征要少而精，这会使模型更简单、更精准。     一、特征构造 1.’常见提取方式 文本数据的特征提取 词袋向量的方式：统计频率    图像数据的特征提取 像素点RGB 用户行为特征提取       特征提取总结： 特征设计时需要与目标…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得； #注:此笔记是我自己认为本节课里比较重要、难理解或容易忘记的内容并做了些补充，并非是课堂详细笔记和要点； #标记为<补充>的是我自己加的内容而非课堂内容，参考文献列于文末。博主能力有限，若有错误，恳请指正； #——————————-…

目录 1.理解回归 1）简单线性回归 2）普通最小二乘估计 3）相关系数 4）多元线性回归 2.线性回归应用示例 1）收集数据 2）探索和准备数据 3）训练数据 4）评估模型 5）提高模型性能 确定一个唯一的因变量（需预测的值）和一个或多个数值型的自变量（预测变量）之间的关系。 回归分析对数据间复杂关系建立模型，用来估计一种处理方法对结果影响和推断未来。也可…

目录 1.决策树原理 2.决策树应用示例 2.1）收集数据 2.2）探索和准备数据 2.3）训练模型 2.4）评估模型性能 2.5）提高模型性能 通过自适应增强算法（boosting） 将惩罚因子分配到不同类型的错误上 决策树：树形结构流程图（漏斗型），模型本身包含一些列逻辑决策。数据分类从根节点开始，根据特征值遍历树上的各个决策节点。 几乎可应用于任何类型…

目录 1.理解Kmeans聚类 1）基本概念 2）kmeans运作的基本原理 2.Kmeans聚类应用示例 1）收集数据 2）探索和准备数据 3）训练模型 4）评估性能 5）提高模型性能 1）基本概念 聚类：无监督分类，对无标签案例进行分类。 半监督学习：从无标签的数据入手，是哦那个聚类来创建分类标签，然后用一个有监督的学习算法（如决策树）来寻找这些类中最重…

目录 1.理解支持向量机（SVM） 1）SVM特点 2）用超平面分类 3）对非线性空间使用核函数 2. 支持向量机应用示例 1）收集数据 2）探索和准备数据 3）训练数据 4）评估模型 5）提高性能 1）SVM特点 支持向量机和神经网络都是“黑箱模型”的代表：潜在的模型基于复杂的数学系统，而且结果难以解释。 SVM的目标是创建一个平面边界（“超平面”），使得…

目录 1.理解关联规则 1）基本认识 2）Apriori算法 2.关联规则应用示例 1）收集数据 2）探索和准备数据 3）训练模型 4）评估性能 5）提高模型性能 1）基本认识 购物篮分析：用来判别事务型数据中商品之间关联的机器学习方法，在零售店之间广泛使用。 购物篮分析的结果是一组指定商品之间关系模式的关联规则。 表现形式：{花生酱，果冻}——>{面…

介绍 在过去的几年里，人们对机器学习产生了新的兴趣。这种复苏似乎是由强大的基本因素推动的 – 全球各地的终端都在释放出的大量数据，并且这些数据的成本非常低廉，计算成本是有史以来是最低的！ 然而，并非每个人都了解机器学习是什么。这里有几个例子： 什么是机器学习？它与大数据和业务分析有何不同？ 机器学习，数据分析，数据挖掘，数据科学和AI之间有什么区别？ 最近，…

2016/5/8 星期日 12:36     desc 目标函数选择 基尼系数，熵（条件熵，交叉熵），分类误差率 都可以作为 目标函数 用凸函数的方法证明 KL距离一定大于0  D(p||q) = Σplog(p/q) = -Σplog(q/p)  因为 -log 是凸函数，且Σp=1，所以 上式 >= -log(Σp·q/p) = -log(Σq) …