VAE和变分推理，是吗？

变分自动编码器的大致概念已经理解了快一年多了，但是其中的数学原理还是没有搞懂，在看到相关的变体时，总会被数学公式卡住。下决心搞懂后，在此记录下我的理解。 公式推导——变分下界 　　这篇文章提出一种拟合数据集分布的方法，拟合分布最常见的应用就是生成模型。该方法遵循极大似然策略，即对于数据集$X = \{x^{(i)}\}^N_{i=1}$，对生成模型$p_{\theta}(x)$（注意！这里的$p_{\theta}(x)$既代表生成模型本身，又代表模型生成数据$x$的边缘概率，下面类似）完成如下优化： \begin{align}\displaystyle \max\limits_{\theta}L =\sum\limits_{i=1}^N\log p_{\theta}(x^{(i)})\end{align} 　　但是，模型不可能凭空产生数据，必须要有输入才能有输出，所以作者对数据的生成过程进行了假设，假设数据集$X = \{x^{(i)}\}^N_{i=1}$的生成过程由以下两步组成： 　　1、通过某个先验分布$p_{\theta^*}(z)$，抽样获得隐变量$z^{(i)}$ 。 　　2、再通过某个条件分布$p_{\theta^*}(x|z)$，抽样生成$x^{(i)}$。 　　显然，以上参数$\theta^*$的值、个数，甚至是计算推演的过程，都是未知的。为了使优化得以进行，就要对参数的个数和计算流程进行约束，通常专家会根据经验来给予特定数据集特定的计算过程。不失一般性，作者假设先验分布$p_{\theta^*}(z)$和似然函数$p_{\theta^*}(x|z)$来自于参数族$p_{\theta}(z)$和$p_{\theta}(x|z)$，并且它们的概率分布函数（PDFs）几乎处处可微。换句话说，作者定义生成模型为$p_{\theta}(z)p_{\theta}(x|z)$。 　　尽管有如上假设，由于数据$x^{(i)}$与隐变量抽样$z$之间的关系未知，$p_{\theta}(x|z)$还是无法直接进行优化。于是，作者采用一种迂回的方式，让模型自己学会$z$与$x$之间的关系。作者使用自动编码器的机制，与生成模型同时训练一个后验分布模型$q_{\phi}(z|x)$，用来模拟其后验分布$p_{\theta}(z|x)$，称为编码器，并称$p_{\theta}(x|z)$为解码器。概率图如下： 　　其中$\theta$表示生成模型$p_{\theta}(z)p_{\theta}(x|z)$的待优化参数，$\phi$表示用于估计$p_{\theta}(z|x)$的模型的参数。 　　有了$q_\phi(z|x)$作为辅助后，针对每一数据集样本$x$，待优化式可转换如下： \begin{align} &\log p_{\theta}(x)\\ =& \text{E}_{q_{\phi}(z|x)}\log p_{\theta}(x)\\ =& \text{E}_{q_{\phi}(z|x)}\log \frac{p_{\theta}(x,z)}{p_{\theta}(z|x)}\\ =& \text{E}_{q_{\phi}(z|x)}\left[ \log p_{\theta}(x,z) - \log p_{\theta}(z|x)+\log q_{\phi}(z|x)-\log q_{\phi}(z|x) \right]\\ =& \text{E}_{q_{\phi}(z|x)}\left[ \log \frac{q_{\phi}(z|x)}{ p_{\theta}(z|x)} + \log p_{\theta}(x,z) -\log q_{\phi}(z|x) \right]\\ =& \text{KL} \left[ q_{\phi}(z|x) || p_{\theta}(z|x) \right]+ \text{E}_{q_{\phi}(z|x)}\left[ \log p_{\theta}(x,z) -\log q_{\phi}(z|x) \right] \\ =& \text{KL} \left[ q_{\phi}(z|x) || p_{\theta}(z|x) \right]+ \mathcal{L}(\theta,\phi) \\ \end{align} 　　容易看出，由于$(8)$式第一项是相对熵非负，第二项就可看作$(2)$式的下界，称之为变分下界或证据下界（evidence lower bound, ELBO）。