一、绪论
1、定义
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

2、监督学习(Supervised Learning):(训练前被告知对错)
线性回归、分类
eg.房价预测、肿瘤预测
3、非监督学习(Unsupervised Learning)
聚类
eg.分离混音、新闻搜索、DNA分析、社交网络、天文分析、市场分析
二、单变量线性回归
1、线性回归模型概述
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

2、代价函数
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

θ_0=0时
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

当θ_0不等0时
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

等高线图显示
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

3、梯度下降算法(Gradient denscnet algorithm)在起始点不同的情况下可能到达不同的局部最优解
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

4、梯度下降算法函数解析
:=表示赋值 =表示判断
α表示学习速率(learning rate),控制以多大的幅度更新参数θ_j
更新函数主体部分同时更新θ_0和θ_1
更新时是同步更新
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

在越接近最小值时,导数值会越来越小,在α不变的情况θ_1的变化也会越来越小
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

5、线性回归的梯度下降
笔记:《吴恩达机器学习》——网易云课堂课程[绪论+单变量线性回归]

6、凸函数(Convex function)在梯度下降算法中只有一个局部最优解
7、“Batch”;Each step of gradient descent use all the training example.