机器学习

　　针对逻辑回归问题，我们在之前的课程已经学习过两种优化算法：我们首先学习了使用梯度下降法来优化代价函数????(????)，接下来学习了更高级的优化算法，这些高级优化算法需要你自己设计代价函数????(????)。 　　自己计算导数同样对于逻辑回归，我们也给代价函数增加一个正则化的表达式，得到代价函数： 要最小化该代价函数，通过求导，得出梯度下降算法为： …

    desc 关于特征工程 使用LR 回归，找出谁的权重大， 1.比如 面积对房价的 权重大，那么就可以进一步细化： 比如 面积 这个因素很重要，那么就着重操作这个因素，比如细化等 比如 继续找：卧室面积，客厅面积，面积比例 ，平方，根号 等也作为 因素加进去   2.再就是还可以这么来，这些特征，比如size，或size平方，或size开根号。这样特征…

2016/5/4 星期三 14:19     定义式 判别式 必要条件 关系 韦恩图 相互独立 # 概率角度的定义 概率的定义 P(XY) = P(X)·P(Y)   from 百度百科 即：有一个为不可能事件也是相互独立 P(Y|X) = P(Y) E(XY) = E(X)·E(Y) Var(X+Y) = Var(X) + Var(Y) cov(X,Y) …

    desc 优化问题的分类 无约束优化 梯度下降法 深度梯度下降 牛顿法   有约束的优化： KKT条件（拉格朗日的扩充） 转换为凸优化，使用内点法求解，matlab cov 命令 认识两个符号 这个符号 表示 半正定 和 正定 对于 scalar 来说，本身具有正负性，而对于 矩阵来说 与正负性对应的就是其 正定性 而不是 其对应 的行列式的 正负性…

一、分类树构建（实际上是一棵递归构建的二叉树，相关的理论就不介绍了） import numpy as np class CartClassificationTree: class Node: ”’树节点类”’ def __init__(self): self.value = None # 内部叶节点属性 self.feature_index = None…

2016/5/23 星期一 11:00     desc 各个公司的核心业务 电商主要做推荐 搜索主要做CTR 图像的话，主要应用DL 无监督 pca, svd，聚类，GMM 知道高斯混合模型 高斯混合就是： 1. 是一种无监督的聚类手段，而且是软聚类，即 给出的每一个 data 数属于各个类的概率 2. 拟合任意分布的概率密度函数   【观点】使用高斯分布…

一、决策树ID3递归算法的实现 import numpy as np class DecisionTree: class Node: def __init__(self): self.value = None # 内部叶节点属性 self.feature_index = None self.children = {} def __str__(self): i…

一、朴素贝叶斯分类器的构建 import numpy as np class BernoulliNavieBayes: def __init__(self, alpha=1.): # 平滑系数, 默认为1(拉普拉斯平滑). self.alpha = alpha def _class_prior_proba_log(self, y, classes): ”’…

记录一些需要深入理解的概念及定义基本概念 特征空间(feature space):所有特征向量存在的空间称为特征空间．特征空间的每一维对应于一个特征． 特征向量(feature vector):每个具体的输入是一个实例(instance)，实例中每个点对应一个坐标向量．我们把一个实例称为特征向量． 实例(instance)：也叫样本(sample)．关于一个…

1. 数据处理 转换数据格式  比如将名称用数字表示、浮点数转为整数 特征值的类型  离散型还是连续型，这会影响算法的选择 特征值的提取  去掉没用的数据比如 ID 值  去掉发生频率太低的特征  直接提取有用的特征  需要的话整合特征，比如    取一段时间内的均值做特征值    取两列数据的和做特征值    取两列数据的皮尔逊相关系数 (Pearson …