这一章开始，我们将进入到Guassian Mixture Model (GMM) 的学习。而为什么要学习GMM 呢？这是因为单峰分布已经不能准备的反映数据的分布了。正如下面的一个分布：

对于如上的数据分布来说，如果强行用单峰的Guassian Distribution 来表示这个分布，显然是可以的。但是，很明显是不合适的。会造成较大的误差，不能较好的表示整个数据的分布特征。

1 模型介绍

1.1 从几何的角度看

从几何角度来看比较的简单，也就是多个高斯分布来取加权平均值。也就是一个混合高斯分布就是多个高斯分布叠加而成的。那么，概率密度函数，可以被我们写成：$$p(x)=\sum _{k=1}^K{\alpha }_k\mathcal{N}\left({\mu }_k,{\Sigma }_k\right),\sum _{k=1}^K{\alpha }_k=1$$

1.2 从混合模型角度来看(生成模型)

如果当输入变量的维度高于一维的时候，我们就不能使用简单的加权来看了。因为，这时，我们已经无法简单的用加权平均来计算了，正如下图所示。其中，X 是Observable Variable，Z 是Latent Variable。这个Z 是个什么意思呢？我们先举一个小例子。看到图2 中那个打了红圈圈的数据点。它既属于C1 的分布，并且也属于C2 的分布，我们可以写作：

$$\{\begin{array}{l}X\sim C_1\\ X\sim C_2\end{array}$$
这样写太麻烦了，我们可以直接写成$X\sim Z$，这里的Z 就是一个离散的随机变量，它包含了$C1,C2,\cdots ,C_N$ 的概率分布。Z 其实就是看对应的样本X 是属于哪一个高斯分布的概率。可以被我们写成：

并且，
${\sum }_k{P}_k=1$。接下来，我们来说一说，如何来生成N 个样本点$C1,C2,\cdots ,C_N$。
我们假设有一个骰子，有K 个面，每个面都是不均匀的，假设我们可以控制每一个面的质量，这个骰子的面出现的概率会符合$P(Z)$。有K 个面，就有K 个高斯分布。那么每次我们就投一下这个骰子，根据出现的面K，选择在第K 个高斯分布中进行采样，生成一个样本点$x_i$。
概率图可以被我们描述为如下形式：

$$\begin{array}{rl}P(x)& =\sum _{Z}P(X,Z)\\ & =\sum _{k=1}^{K}P\left(X,z=C_k\right)\\ & =\sum _{k=1}^{K}P\left(z=C_k\right)\cdot P\left(X|z=C_k\right)\\ & =\sum _{k=1}^K{P}_k\cdot \mathcal{N}\left(X|{\mu }_k,{\Sigma }_k\right)\end{array}$$
我们根据一个离散的随机变量Z 来选择是选取那个高斯分布，利用这个高斯分布$\mathcal{N}\left({\mu }_{},{\Sigma }_{}\right)$来采样
得到我们想要的样本点。而且，离散随机变量Z 符合一个离散分布$p=(p_1,p_2,\cdots p_k)$。

2 极大似然估计：Maximum Likelihood Estimation

本节我们想使用极大似然估计来求解Gaussian Mixture Model (GMM) 的最优参数结果。首先，
我们明确一下参数的意义：
$X:$ Observed data, $X=\left(x_1,x_2,\cdots ,x_N\right)$

$(X,Z):$ Complete data ,(X,Z)={(x1,z1),(x2,z2),⋯ ,(xN,zN)},(X, Z)=\left\{\left(x_{1}, z_{1}\right),\left(x_{2}, z_{2}\right), \cdots,\left(x_{N}, z_{N}\right)\right\},(X,Z)={(x1​,z1​),(x2​,z2​),⋯,(xN​,zN​)}

$\theta :$ parameter ,θ={P1,⋯ ,Pk,μ1,⋯ ,μk,Σ1,⋯ ,Σk}, \theta=\left\{P_{1}, \cdots, P_{k}, \mu_{1}, \cdots, \mu_{k}, \Sigma_{1}, \cdots, \Sigma_{k}\right\},θ={P1​,⋯,Pk​,μ1​,⋯,μk​,Σ1​,⋯,Σk​}

2.1 Maximum Likelihood Estimation 求解参数

$$\begin{array}{rl}P(x)& =\sum _{Z}P(X,Z)\\ & =\sum _{k=1}^{K}P\left(X,z=C_k\right)\\ & =\sum _{k=1}^{K}P\left(z=C_k\right)\cdot P\left(X|z=C_k\right)\\ & =\sum _{k=1}^K{P}_k\cdot \mathcal{N}\left(X|{\mu }_k,{\Sigma }_k\right)\end{array}$$
其中，$P_k$ 也就是数据点去第$k$ 个高斯分布的概率。下面我们开始使用MLE 来求解$\theta$：
$$\begin{array}{rl}{\hat{\theta }}_{MLE}& =\arg \underset{\theta }{\max }\log P(X)\\ & =\arg \underset{\theta }{\max }\log \prod _{i=1}^{N}P\left(x_i\right)\\ & =\arg \underset{\theta }{\max }\sum _{i=1}^N\log P\left(x_i\right)\\ & =\arg \underset{\theta }{\max }\sum _{i=1}^N\log \sum _{k=1}^K{P}_k\cdot \mathcal{N}\left(x_i|{\mu }_k,{\Sigma }_k\right)\end{array}$$
我们想要求的$\theta$ 包括θ={P1,⋯ ,Pk,μ1,⋯ ,μk,Σ1,⋯ ,Σk}\theta=\left\{P_{1}, \cdots, P_{k}, \mu_{1}, \cdots, \mu_{k}, \Sigma_{1}, \cdots, \Sigma_{k}\right\}θ={P1​,⋯,Pk​,μ1​,⋯,μk​,Σ1​,⋯,Σk​}

2.2 MLE 的问题

按照之前的思路，我们就要分布对每个参数进行求偏导来计算最终的结果。但是问题马上就来了，大家有没有看到log 函数里面是一个求和的形式，而不是一个求积的形式。这意味着计算非常的困难。甚至可以说，我们根本就求不出解析解。如果是单一的Gaussian Distribution：
$$\log P\left(x_i\right)=\log \frac{1}{\sqrt{2\pi }\sigma }\exp \left\{-\frac{{\left(x_i-\mu \right)}^2}{2\sigma }\right\}$$
根据log 函数优秀的性质，这个问题是可以解的。但是，很不幸后面是一个求和的形式。所以，直接使用MLE 求解GMM，无法得到解析解。故⽽引出下⾯两节的内容: ⽤EM 对GMM 求解,

3 EM进行求解

上一小节中，我们看到了使用极大似然估计的方法，我们根本就求不出最优参数 的解析解。所以，我们使用迭代的方法来求近似解。
EM 算法的表达式，可以被我们写为：
$${\theta }^{(t+1)}=\arg \underset{\theta }{\max }\underset{Q\left(\theta ,{\theta }^{(t)}\right)}{{\mathbb{E}}_{P\left(Z|X,{\theta }^{(t)}\right)}[\log P(X,Z|\theta )]}$$
经过一系列的迭代，我们可以得到${\theta }^0,{\theta }^1\cdots ,{\theta }^t$，迭代到一定次数以后我们得到的${\theta }^N$就是我们想要得到的结果。EM 算法大体上可以分成两个部分，E-step 和M-step，

3.1 E-Step

$$\begin{array}{rl}Q\left(\theta ,{\theta }^{(t)}\right)& ={\int }_Z\log P(X,Z|\theta )\cdot P\left(Z|X,{\theta }^{(t)}\right)dZ\\ & =\sum _Z\log \prod _{i=1}^{N}P\left(x_i,z_i|\theta \right)\cdot \prod _{i=1}^{N}P\left(z_i|x_i,{\theta }^{(t)}\right)dZ\\ & =\sum _{z_1,\cdots ,z_N}\sum _{i=1}^N\log P\left(x_i,z_i|\theta \right)\cdot \prod _{i=1}^{N}P\left(z_i|x_i,{\theta }^{(t)}\right)dZ\\ & =\sum _{z_1,\cdots ,z_N}\left[\log P\left(x_1,z_1|\theta \right)+\log P\left(x_2,z_2|\theta \right)+\cdots \log P\left(x_N,z_N|\theta \right)\right]\cdot \prod _{i=1}^{N}P\left(z_i|x_i,{\theta }^{(t)}\right)dZ\end{array}$$
为了简化推导，我们首先只取第一项来化简一下，
$$\begin{array}{l}{\sum }_{z_1,\cdots ,z_N}\log P\left(x_1,z_1|\theta \right)\cdot {\prod }_{i=1}^{N}P\left(z_i|x_i,{\theta }^{(t)}\right)dZ\\ \\ ={\sum }_{z_1,\cdots ,z_N}\log P\left(x_1,z_1|\theta \right)\cdot P\left(z_1|x_1,{\theta }^{(t)}\right)\cdot {\prod }_{i=2}^{N}P\left(z_i|x_i,{\theta }^{(t)}\right)dZ\\ \\ ={\sum }_{z_1}\log P\left(x_1,z_1|\theta \right)\cdot P\left(z_1|x_1,{\theta }^{(t)}\right)\cdot {\sum }_{z_2,\cdots ,z_N}{\prod }_{i=2}^{N}P\left(z_i|x_i,{\theta }^{(t)}\right)dZ\end{array}$$
而：
$$\begin{array}{rl}\sum _{z_2,\cdots ,z_N}\prod _{i=2}^{N}P\left(z_i|x_i,{\theta }^{(t)}\right)& =\sum _{z_2,\cdots ,z_N}P\left(z_2|x_2,{\theta }^{(t)}\right)\cdot P\left(z_3|x_3,{\theta }^{(t)}\right)\cdots P\left(z_N|x_N,{\theta }^{(t)}\right)\\ & =\sum _{z_2}P\left(z_2|x_2,{\theta }^{(t)}\right)\cdot \sum _{z_3}P\left(z_3|x_3,{\theta }^{(t)}\right)\cdots \sum _{z_N}P\left(z_N|x_N,{\theta }^{(t)}\right)\\ & =1\cdot 1\cdots 1\\ & =1\end{array}$$
所以，
$$\sum _{z_1,\cdots ,z_N}\log P\left(x_1,z_1|\theta \right)\cdot \prod _{i=1}^{N}P\left(z_i|x_i,{\theta }^{(t)}\right)dZ=\sum _{z_1}\log P\left(x_1,z_1|\theta \right)\cdot P\left(z_1|x_1,{\theta }^{(t)}\right)$$
将上面得到的结果，代入到初始的推导式 中，我们就可以得到：
$$\begin{array}{rl}Q\left(\theta ,{\theta }^{(t)}\right)& =\sum _{z_1}\log P\left(x_1,z_1|\theta \right)\cdot P\left(z_1|x_1,{\theta }^{(t)}\right)+\cdots +\sum _{z_N}\log P\left(x_N,z_N|\theta \right)\cdot P\left(z_N|x_N,{\theta }^{(t)}\right)\\ & =\sum _{i=1}^N\sum _{Z_i}\log P\left(x_i,z_i|\theta \right)\cdot P\left(z_i|x_i,{\theta }^{(t)}\right)\end{array}$$
那么，下一步我们就是要找到，$\log P\left(x_i,z_i|\theta \right)和P\left(z_i|x_i,{\theta }^{(t)}\right)$的表达方式了。其中：$$\begin{array}{c}P(X,Z)=P(Z)P(X|Z)=P_Z\cdot \mathcal{N}\left(X|{\mu }_Z,{\Sigma }_Z\right)\\ \\ P(Z|X)=\frac{P(|X,Z)}{P(X)}=\frac{P_Z\cdot \mathcal{N}\left(X|{\mu }_Z,{\Sigma }_Z\right)}{{\sum }_{i=1}^K{P}_{Zi}\cdot \mathcal{N}\left(X|{\mu }_{Zi},{\Sigma }_{Zi}\right)}\end{array}$$
所以，我们将上式代入，就可以得到：
$$Q\left(\theta ,{\theta }^{(t)}\right)=\sum _{i=1}^N\sum _{Z_i}\log P_{Z_i}\cdot \mathcal{N}\left(X|{\mu }_{Z_i},{\Sigma }_{Z_i}\right)\cdot \frac{P_{Z_i}^{\theta (t)}\cdot \mathcal{N}\left(x_i|{\mu }_{Z_i}^{\theta (t)},{\Sigma }_{Z_i}^{\theta (t)}\right)}{{\sum }_{k=1}^K{P}_k^{\theta (t)}\cdot \mathcal{N}\left(x_i|{\mu }_k^{\theta (t)},{\Sigma }_k^{\theta (t)}\right)}$$

3.2 M-Step

根据我们在E-Step 中的推导，我们可以得到：$$\begin{array}{rl}Q\left(\theta ,{\theta }^{(t)}\right)& =\sum _{i=1}^N\sum _{Z_i}\log P_{Z_i}\cdot \mathcal{N}\left(X|{\mu }_{Z_i},{\Sigma }_{Z_i}\right)\cdot \frac{P_{Z_i}^{\theta (t)}\cdot \mathcal{N}\left(x_i|{\mu }_{Z_i}^{\theta (t)},{\Sigma }_{Z_i}^{\theta (t)}\right)}{\sum _{k=1}^K{P}_k^{\theta (t)}\cdot \mathcal{N}\left(x_i|{\mu }_k^{\theta (t)},{\Sigma }_k^{\theta (t)}\right)}\\ & =\sum _{Z_i}\sum _{i=1}^N\log \left(P_{Z_i}\cdot \mathcal{N}\left(X|{\mu }_{Z_i},{\Sigma }_{Z_i}\right)\right)\cdot P\left(Z_i|X_i,{\theta }^{(t)}\right)\\ & =\sum _{k=1}^K\sum _{i=1}^N\log \left(P_k\cdot \mathcal{N}\left(X|{\mu }_k,{\Sigma }_k\right)\right)\cdot P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)\left(Z_i=C_k\right)\\ & =\sum _{k=1}^K\sum _{i=1}^N\left(\log P_k+\log \mathcal{N}\left(X_i|{\mu }_k,{\Sigma }_k\right)\right)\cdot P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)\end{array}$$
我们的目的也就是进行不断迭代，从而得出最终的解，用公式表达也就是：$${\theta }^{(t+1)}=\arg \underset{\theta }{\max }Q\left(\theta ,{\theta }^{(t)}\right)$$
我们需要求解的参数也就是:$${\theta }^{(t+1)}=\left\{P_1^{(t+1)},\cdots ,P_k^{(t+1)},{\mu }_1^{(t+1)},\cdots ,{\mu }_k^{(t+1)},{\Sigma }_1^{(t+1)},\cdots ,{\Sigma }_k^{(t+1)}\right\}$$
首先，我们来展示一下怎么求解$P_k^{(t+1)}$

由于在前面的推导结果${\sum }_{k=1}^K{\sum }_{i=1}^N\left(\log P_k+\log \mathcal{N}\left(X_i|{\mu }_k,{\Sigma }_k\right)\right)\cdot P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)$中的$\log \mathcal{N}\left(X_i|{\mu }_k,{\Sigma }_k\right)$
部分和$P_k$ 并没有什么关系。所以，可以被我们直接忽略掉。所以，求解问题，可以被我们描述为：$$\{\begin{array}{l}\arg {\max }_{P_k}{\sum }_{k=1}^K{\sum }_{i=1}^N\log P_k\cdot P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)\\ \\ \text{ s.t. }{\sum }_{k=1}^K{P}_k=1\end{array}$$
使用拉格朗日算子法，我们可以写成：
$$\begin{array}{c}\mathcal{L}(P,\lambda )={\sum }_{k=1}^K{\sum }_{i=1}^N\log P_k\cdot P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)+\lambda \left({\sum }_{k=1}^K{P}_k-1\right)\\ \begin{array}{rl}\frac{\partial \mathcal{L}(P,\lambda )}{\partial P_k}& =\sum _{i=1}^N\frac{1}{P_k}\cdot P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)+\lambda =0\\ & \Rightarrow \sum _{i=1}^{N}P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)+P_k\lambda =0\end{array}\\ \Rightarrow N+\lambda =0_{i=1}^N\underset{1}{\sum _{k=1}^{K}P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)}+\underset{1}{\sum _{k=1}^K{P}_k\lambda =0}\end{array}$$
所以，我们可以轻易的得到$\lambda =-N$，所以有$$P_K^{(t+1)}=\frac{1}{N}\sum _{i=1}^{N}P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)$$
那么，我们所有想要求的参数也就是$$P^{(t+1)}=\left(P_1^{(t+1)},P_2^{(t+1)},\cdots ,P_k^{(t+1)}\right)$$
求解$P_k^{(t+1)}$是一个有约束的求最大值问题，由于带约束所以我们要使用拉格朗日乘子法。而且这里使用到了一个track，也就是将从1 到k，所有的数据集做一个整合，非常的精彩，这样就直接消掉了$P_k$ 无法计算的问题。而至于$\theta$ 的其他部分，也就是关于$\left\{{\mu }_1^{(t+1)},\cdots ,{\mu }_k^{(t+1)},{\Sigma }_1^{(t+1)},\cdots ,{\Sigma }_k^{(t+1)}\right\}$ 的计算，使用的方法也是一样的.

为什么极大似然估计搞不定的问题，放在EM 算法里面我们就可以搞定了呢？我们来对比一下两
个方法中，需要计算极值的公式。

$$\begin{array}{c}{\sum }_{k=1}^K{\sum }_{i=1}^N\left(\log P_k+\log \mathcal{N}\left(X_i|{\mu }_k,{\Sigma }_k\right)\right)\cdot P\left(Z_i=C_k|X_i,{\theta }^{(t)}\right)\end{array}$$
$$\begin{array}{c}\arg {\max }_{\theta }{\sum }_{i=1}^N\log {\sum }_{k=1}^K{P}_k\cdot \mathcal{N}\left(x_i|{\mu }_k,{\Sigma }_k\right)\end{array}$$
极大似然估计一开始计算的就是$P(X)$，而EM 算法中并没有出现有关$P(X)$的计算，而是全程计算都是$P(X,Z)$。而$P(X)$实际上就是$P(X,Z)$的求和形式。所以，每次单独的考虑$P(X,Z)$就避免了在log 函数中出现求和操作。