机器学习
-
机器学习入门的书单（数据挖掘、模式识别等一样）
（写在前面）昨天说写个机器学习书单，那今天就写一个吧。这个书单主要是入门用的，很基础，适合大二、大三的孩子们看看；当然你要是大四或者大四以上没看过机器学习也适用。无论是研究智能还是做其他事情，机器学习都是必须的。你看GFW都用机器学习了，咱是不是也得科普一下。 （全文结构）其实，我想了想，学一门学科，列出一堆书，评论来评论去的，其实对初学者用处不大；他都不知…
-
【模式识别与机器学习】——似然函数
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。 似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。 概率 用于在已知一些参数的情况下，预测接下来的观测所得到的…
-
【模式识别与机器学习】——3.3分段线性判别函数3.4模式空间和权空间
线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。 采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。 引入分段线性判别函数的判别过程，它比一般的线性判别函数的错误率小，但又比非线性判别函…
-
【模式识别与机器学习】——最小二乘回归
线性回归 线性回归是很常见的一种回归，线性回归可以用来预测或者分类，主要解决线性问题。 最小二乘法 线性回归过程主要解决的就是如何通过样本来获取最佳的拟合线。最常用的方法便是最小二乘法，它是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。
-
【模式识别与机器学习】——3.8可训练的确定性分类器的迭代算法
定义： 梯度是一个向量，它的最重要性质就是指出了函数f在其自变量y增加时最大增长率的方向。 负梯度指出f的最陡下降方向 利用这个性质，可以设计一个迭代方案来寻找函数的最小值。 采用梯度法求解的基本思想 对感知器算法 式中的w(k)、xk随迭代次数k而变，是变量。 定义一个对错误分类敏感的准则函数J(w, x)。先任选一个初始权向量w(1)，计算准则函数J的梯…
-
【模式识别与机器学习】——3.9势函数法：一种确定性的非线性分类方法
目的 用势函数的概念来确定判别函数和划分类别界面。 基本思想 假设要划分属于两种类别ω1和ω2的模式样本，这些样本可看成是分布在n维模式空间中的点xk。 把属于ω1的点比拟为某种能源点，在点上，电位达到峰值。 随着与该点距离的增大，电位分布迅速减小，即把样本xk附近空间x点上的电位分布，看成是一个势函数K(x, xk)。 对于属于ω1的样…
-
吴恩达机器学习笔记50-主成分分析算法(PCA Algorithm)
PCA 减少????维到????维步骤： 第一步是均值归一化。我们需要计算出所有特征的均值，然后令 ???????? = ???????? − ????????。如果特征是在不同的数量级上，我们还需要将其除以标准差 ????2。 第二步是计算协方差矩阵（covariance matrix） (求和上面的n错了，应该是m） 第三步是计算协方差矩…
-
吴恩达机器学习笔记47-K均值算法的优化目标、随机初始化与聚类数量的选择（Optimization Objective & Random Initialization & Choosing the Number of Clusters of K-Means Algorithm）
一、K均值算法的优化目标 K-均值最小化问题，是要最小化所有的数据点与其所关联的聚类中心点之间的距离之和，因此 K-均值的代价函数（又称畸变函数 Distortion function）为： 其中????????(????)代表与????(????)最近的聚类中心点。 我们的的优化目标便是找出使得代价函数最小的 ????(1),????(2),……
-
吴恩达机器学习笔记53-高斯分布的算法（Algorithm of Gaussian Distribution）
如何应用高斯分布开发异常检测算法呢？ 异常检测算法： 对于给定的数据集 ????(1), ????(2), . . . , ????(????)，我们要针对每一个特征计算 ???? 和 ????2 的估计值。 一旦我们获得了平均值和方差的估计值，给定新的一个训练实例，根据模型计算 ????(????)： 当????(????) < ????时…
-
吴恩达机器学习笔记43-SVM大边界分类背后的数学（Mathematics Behind Large Margin Classification of SVM）
假设我有两个向量，????和????，我将它们写在这里。两个都是二维向量，我们看一下，???????? ????的结果。???????? ????也叫做向量????和????之间的内积。由于是二维向量，我可以将它们画在这个图上。 我们说，这就是向量????即在横轴上，取值为某个????1，而在纵轴上，高度是某个????2作为????的第二个分量。现在，很…
