【十分钟 机器学习 系列课程】讲义（67）：EM算法高斯混合模型的M步

欢迎回来。上期【十分钟 机器学习 系列课程】讲义（66）：EM算法高斯混合模型的E步，我们带着大家一起手把手推导了高斯混合模型中的E步，简言之，E步主要实现两个目的：

❝

• 「1.补全隐变量的信息」。在已知上轮参数 的情况下补全信息，从而得到隐变量的结果，对应的分别是 和 ， 代表了展开隐变量的示性函数。 代表了来自于第 个分布的样本个数。

• 「2.找到M步的目标函数」。

❞

那么，这期我们继续说一说「高斯混合模型的M步」。

壹 什么是高斯混合模型的M步？

1.M步的目的

对于M步而言，意味着将期望最大化，得到对应的 。也就是：

而通过计算，能得出三个参数估计结果。

❝

❞

2. 个参数

三个结果理解起来比较容易，在混合高斯分布模型中， 代表第 个高斯分布的占比， 代表第 个高斯分布的均值， 则代表第 个高斯分布的方差。那么带上小帽子，自然表示求解出的最终解：

代表第 个高斯分布 的样本占比，而对应的：

用它除以总数 这就代表了总的样本分布占比。

代表对所有的分步求和后取均值。

代表则代表找到相应的样本后计算出的方差。

接下来，我们就要看看能不能求解出来，也就是重复E步和M步直到收敛，输出结果 ，而对应的就有 个参数。

贰 如何求解高斯混合模型的M步？

1.将带约束问题转为无约束问题

这里的求解是一个有约束条件的求解问题，目标是解出：

对应的约束条件是：

那么要把有约束的变成无约束的，并求解偏导，则需要之前用到的拉格朗日乘子法，把这个式子可以改成：

其中的 则是拉格朗日乘子，所以此时的参数就有 个。

对于初始值而言，设：

2.M步求解

继续就可以通过对三个参数求偏导依次得到各个最大值。

得到：

继续得到：

如果我们对等式的左右两边进行求和，左边就变成了所有的样本 ，而右边则变成了 。

继续对 求偏导：

那么，对于 它一定得是大于 的，那么可以简化：

往上翻翻，是不是和结果一致？

接着，我们再对 求偏导。

因为 所以我们可以将等式两边都乘以 。得到：

这样就计算出：

这和我们刚才给出的结果一致，推导完毕。

叁 高斯混合模型的EM算法

好啦，通过上面的推导，我们就得出了三个参数的计算公式，接着我们一起把高斯混合模型参数估计的EM算法进行回顾总结：

「输入」 已知观测数据 高斯混合模型；

「输出」高斯混合模型参数，即对应的各个高斯分布的占比 。

「步骤」

Step 1 取参数的初始值开始迭代

得到 。

Step 2 E步 依据当前模型参数，计算模型 对观测数据 的响应度

Step 3 M步 计算新一轮迭代的模型参数

❝

❞

Step 4 重复第2和第3步，直到收敛。

好啦，以上就是「高斯混合模型参数估计的EM算法」，下期咱们继续说一说「广义的EM算法之F函数」，本期讲义的配套视频链接在下面，感兴趣的小伙伴可以边看边学，同时，如果你还有其他关于统计学习方法的问题，也可以加入我们的群聊，回复「入群」，期待你的到来~我们下期不见不散。