机器学习

机器学习笔记：Gradient Descent 　　最近掉进了Machine Learning的坑里，暑期听完了龙星计划的机器学习课程，走马观花看了一些书。最近找了Stanford的Machine Learning的公开课（http://v.163.com/special/opencourse/machinelearning.html），想系统地学习一遍，而…

　　Logistic Regression算法非常著名，据说在工程实际中用得非常多。作为菜鸟一只，我在dragonstar课上第一次耳闻，由于Yu Kai老师讲得快，当时没怎么搞懂。今天听了CS229的课，找到了牛人的笔记和程序，才算略懂一点。 　　Logistic Regression是一种回归算法，它跟Linear Regression回归有一定的不同。…

机器学习笔记：Generative Learning 　　一口气看完了第五讲。主要讲了Generating Learning（生成学习算法）。什么是Generating Learning呢？Andrew Ng 先给出了Discriminative Learning（判别学习算法）的概念，Logistic Regression就是典型的Discriminati…

　　第一次接触SVM（支持向量机）还是四年前的事情了，那时用它做手写体数字识别，参考了一些书和文献，照着人家的步骤用Matlab敲出了PCA+SVM的代码，识别率一般，90都没上，不好意思跟人打招呼。最囧的是，后来参加一个面试，人家问我神马是支持向量，我都答不上来。上了研究生，在各种模式识别和机器学习相关的课上，反复学习了这一经典算法，每次都有新的体会。借此…

关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如有错误还请指出。 1、信息 这个是熵和信息增益的基础概念，我…

注：以下的默认为2分类 1、SVM原理： (1)输入空间到特征空间得映射 所谓输入空间即是输入样本集合，有部分情况输入空间与特征空间是相同得，有一部分情况二者是不同的，而模型定义都是定义到特征空间的，特征空间是指所有的输入特征向量，特征向量是利用数值来表示的n维向量，输入空间到特征空间的映射，也就是对所用的特征进行数值量化（本人这么理解），与概率中的随机变量…

根据上个硬间隔最大化已经知道，在解决线性可分数据集的分类问题时，求得拉格朗日乘子、w、b就得到分离超平面，然后就可以进行分类，软间隔最大化是针对非线性可分的数据集，因为并不是数据集在可分的时候会出现一些个别的点不能够被正确划分，而被划分到另一类中，软间隔最大化就是对目标函数加上一个惩罚项，或者说是松弛变量，这样可以稍微灵活的进行分类，因此需要对上边所说的问题…

1 ”’ 2 Created on Nov 06, 2017 3 kNN: k Nearest Neighbors 4 5 Input: inX: vector to compare to existing dataset (1xN) 6 dataSet: size m data set of known vectors (NxM) 7 labels: d…

1 from math import log 2 import numpy as np 3 import matplotlib.pyplot as plt 4 import operator 5 6 #计算给定数据集的香农熵 7 def calcShannonEnt(dataSet): 8 numEntries = len(dataSet) 9 labelC…

心好累，从最开始的32位Python2.7，做MovieLens1M试验就直接内存报错了，后来换成了64位Python2.7，最近做文本读取试验又遇到编码问题，另一台电脑的64位Python却没问题，这里索性把自己的主要Python开发环境换成64为Python3.5，那就记录下来吧，以后还是用最新版的软件比较好。 操作系统：64位 Windows 10 专…