【说在前面】

1.只是知道算法和数学,而不知道如何将算法实际运用于你所关心的问题并不是一件好事。

2.花点时间做些有关算法每个步骤的练习,看看你能否理解它们是如何工作的。

机器学习定义】

不用精确编程也能让计算机有能力学习的研究领域(Arthur Samuel,older, informal)

从经验中学习关于某些类别的任务T和表现度量P,并且在做任务T时,在P标准的衡量下,提高了对经验的学习的计算机程序。(Tom Mitchell,modern)

Example: playing checkers.
E = the experience of playing many games of checkers
T = the task of playing checkers.
P = the probability that the program will win the next game.
分类:有监督和无监督学习,强化学习、推荐系统……
 
监督学习:给算法数据集,也给它正确答案
回归问题中,尝试预测连续输出值,回归指尝试预测连续的值属性
分类问题中,尝试预测离散输出值0或1,有时候我们会有不只两个可能的输出值(有多个类的情况)
eg.存货市场预测:公司接下来一周会破产吗(通过对同类有破产风险的公司的数据进行分析)是回归还是分类?
是分类问题!
 
无监督学习:处理我们未标记或很少标记结果的问题
从数据获取结构,不一定要知道变量的效果,也没有基于预测结果的反馈

聚类:收集一百万种基因,找到自动分类相似基因(如依据寿命、位置、功能等)的方法

非聚类:"Cocktail Party Algorithm"帮助我们在混乱的环境里找到结构

从鸡尾酒派对杂乱的声音堆里找到单独的声音和音乐

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 

【模型表示】

回归问题:连续值如预测房价

分类问题:离散值如预测一个住所是房子还是公寓

【代价函数】Cost Function

均方误差Squared error function/Mean squared error

用途:衡量预测的准确性(利用预测结果与实际输出)

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 【直觉Ⅰ】

尝试最小化代价函数:选择最恰当的theta使J最小

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 【梯度下降】

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 如果再在某个方向迈出小小的一步,并且希望下山越快越好,应该在哪个方向迈步呢?

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 有两种方法可以到两个局部最优处

 此外对于每一个j,需要同时更新参数(非常重要!!!)

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 【梯度下降的直觉】

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

斜坡是负的,theta1的值增加

斜坡是正的,theta1的值减少

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 α即学习率太小,梯度下降很慢

α太大,梯度下降很快,但也许无法收敛,甚至发散!

所以需要调整α,确保梯度下降算法在合适的时间收敛

无法收敛或收敛太慢都说明做错了(α值错了)

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 到局部最小处,梯度下降自然会缩小步子,不需要随时间增加α

【线性回归的梯度下降】

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 梯度下降可能受局部最优解的影响,而这里最优化问题只有一个全局而没有其他局部最优解,所以梯度下降总是可以收敛到全局最优解

α是固定的也可以收敛!

对于线性回归里特殊的损失函数的特殊形式,依然没有局部最优解

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 

 

吴恩达机器学习复习1:监督学习、无监督学习、模型表示、损失函数、直觉Ⅰ、直觉Ⅱ、梯度下降及其直觉、线性回归的梯度下降

 

 这是一张(等高线?)图,显示了theta的收敛过程