机器学习的数学基础-（三、概率论和数理统计）

概率论和数理统计

随机事件和概率

1.事件的关系与运算

(1) 子事件：  ，若  发生，则  发生。

(2) 相等事件：  ，即  ，且  。

(3) 和事件：  （或  ），  与  中至少有一个发生。

(4) 差事件：  ，  发生但  不发生。

(5) 积事件：  （或  ），  与  同时发生。

(6) 互斥事件（互不相容）：  。

(7) 互逆事件（对立事件）：

2.运算律
(1) 交换律：  
(2) 结合律：  ；
 
(3) 分配律： 

3.德  摩根律

 

4.完全事件组

 两两互斥，且和事件为必然事件，即 

5.概率的基本公式
(1)条件概率:
 ,表示  发生的条件下，  发生的概率。
(2)全概率公式：
 
(3) Bayes公式：

 
注：上述公式中事件  的个数可为可列个。

(4)乘法公式： 

6.事件的独立性
(1)  与  相互独立  
(2)  ，  ，  两两独立
 ;  ;  ;
(3)  ，  ，  相互独立
 ;  ;
 ; 

7.独立重复试验

将某试验独立重复  次，若每次实验中事件  发生的概率为  ，则  次试验中  发生 次的概率为：

8.重要公式与结论

(1)

(2) 

(3) 

(4)  , 

(5)条件概率  满足概率的所有性质， 例如：. 

  
(6)若  相互独立，则  ,

(7)互斥、互逆与独立性之间的关系：  与  互逆  与  互斥，但反之不成立，  与  互斥（或互逆）且均非零概率事件   与  不独立。

(8)若  相互独立，则  与  也相互独立，其中  分别表示对相应事件做任意事件运算后所得的事件，另外，概率为1（或0）的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义： 

性质：

(1) 

(2)  单调不减

(3) 右连续 

(4) 

3.离散型随机变量的概率分布

4.连续型随机变量的概率密度

概率密度  ;非负可积，且:

(1) 

(2) 

(3)  为  的连续点，则:

 分布函数 

5.常见分布

(1) 0-1分布: 

(2) 二项分布:  ： 

(3) Poisson分布:  ： 

(4) 均匀分布  ： 

(5) 正态分布:  ： 

(6)指数分布: 

(7)几何分布: 

(8)超几何分布: 

6.随机变量函数的概率分布

(1)离散型： 

则: 

(2)连续型： 

则:  ，

7.重要公式与结论

(1)  ， 

(2) 

(3) 

(4) 

(5) 离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函数，但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

由两个随机变量构成的随机向量  ， 联合分布为 

2.二维离散型随机变量的分布

(1) 联合概率分布律 

(2) 边缘分布律 

(3) 条件分布律  

3. 二维连续性随机变量的密度

(1) 联合概率密度  ：

1) 

2) 

(2) 分布函数： 

(3) 边缘概率密度：  

(4) 条件概率密度：  

4.常见二维随机变量的联合分布

(1) 二维均匀分布：  , 

(2) 二维正态分布：  ,

5.随机变量的独立性和相关性

 和  的相互独立:  :

 （离散型）  （连续型）

 和  的相关性：

相关系数  时，称  和  不相关，
否则称  和  相关

6.两个随机变量简单函数的概率分布

离散型：  则：

连续型：  
则：

 , 

7.重要公式与结论

(1) 边缘密度公式：  

(2) 

(3) 若  服从二维Y=y正态分布  
则有：

1) 

2)  与  相互独立  ，即  与  不相关。

3) 

4)  关于  的条件分布为： 

5)  关于  的条件分布为： 

(4) 若  与  独立，且分别服从  
则： 

(5) 若  与  相互独立，  和  为连续函数， 则  和  也相互独立。

随机变量的数字特征

1.数学期望

离散型：  ；

连续型： 

性质：

(1) 

(2) 

(3) 若  和  独立，则 

(4) 

2.方差： 

3.标准差：  ，

4.离散型： 

5.连续型： 

性质：

(1) 

(2)  与  相互独立，则 

(3) 

(4) 一般有 

(5) 

(6) 

6.随机变量函数的数学期望

(1) 对于函数 

 为离散型：  ；

 为连续型： 

(2)  ;  ;  ; 

7.协方差

8.相关系数

 ;
 阶中心矩 

性质：

(1) 

(2) 

(3) 

(4) 

(5)  ，其中 

 
，其中 

9.重要公式与结论

(1) 

(2) 

(3)  且  ，其中 

 ，其中 

(4) 下面5个条件互为充要条件：

  

注：  与  独立为上述5个条件中任何一个成立的充分条件，但非必要条件。

数理统计的基本概念

1.基本概念

总体：研究对象的全体，它是一个随机变量，用  表示。

个体：组成总体的每个基本元素。

简单随机样本：来自总体  的  个相互独立且与总体同分布的随机变量  ，称为容量为  的简单随机样本，简称样本。

统计量：设  是来自总体  的一个样本，  ）是样本的连续函数，且  中不含任何未知参数，则称  为统计量。

样本均值： 

样本方差： 

样本矩：样本  阶原点矩： 

样本  阶中心矩： 

2.分布

 分布：  ，其中  相互独立，且同服从 

 分布：  ，其中  且  ，  相互独立。

 分布：  ，其中  且  ，  相互独立。

分位数：若  则称  为  的  分位数

3.正态总体的常用样本分布

(1) 设  为来自正态总体  的样本，

 则：

1)  或者 

2) 

3) 

4) 

4.重要公式与结论

(1) 对于  ，有 

(2) 对于  ，有  ；

(3) 对于  ，有 

(4) 对于任意总体  ，有