2.2 Multinomial variables多项变量的分布

    考虑多项变量即K个互斥变量(可能取值),使用1-of-K方式表示为K维向量x,其中某个向量xk=1,且其他向量=0。例如某个变量发生,对应向量为x3,则x3=1 :

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    xk=1发生的概率为μk,那么x的分布为:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    这里2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记,且2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记,该分布可以看作是Bernoulli分布多输出的普遍形式,很明显上式是归一化的normalized:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    考虑N个独立观测值 {x1,…,xN} 数据集D, 对应的似然函数:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    其中:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    代表xk=1在D中发生次数。这是都是该分布的完全统计sufficient statistics。

    2.29的限制条件是2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记,那么可以使用拉格朗日乘子法对lnp(D|μ),转换为最大化下式:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    基于μk求导等于0,得到:

            2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    将该式代入2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记,有 λ=-N,由此我们得到μ的最大似然解:

            2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

Multinomial distribution多项分布    

接下来我们考虑m1,m2,…,mK的联合分布,从2.29式,我们可以得到:

    2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

这就是多项分布归一化系数:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

变量mk 受限于:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

2.21 The Dirichlet distribution

    引入2.34式的先验的相似分布,共轭先验的形式应该是:

                2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    这里,2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记,对于3维来说,由于受限于总和,自由变量只有二维,所以k维变量就被限制在k-1维空间。如下图,取值限于一个平面,可以将这个平面投影到二维平面:

    2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    

α1,…, αK 是分布的参数,α=(α1,…, αK)T,2.37式的归一化形式:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    其中:

            2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    该分布就是Dirichlet distribution,该分布是连续多变量分布,是多变量普遍化的Beta分布。狄利克雷分布奠定了狄利克雷过程的基础,被广泛应用于自然语言处理特别是主题模型(topic model)的研究。下图是一个3变量分布:

2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    将先验2.38与相似函数2.34相乘,有:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

    看得出,后验同样是一个Dirichlet分布,归一化系数,得到后验:

        2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记