变分下界
变分下界
公式推导
我们的目的是最大化 \(\log p_\theta(\mathbf{x})\),即最大化给定数据 \(\mathbf{x}\) 的生成概率。然而,由于 \(p_\theta(\mathbf{x})\) 往往难以直接计算,我们可以通过最大化变分下界 \(\mathcal{L}(\theta, \phi; \mathbf{x})\) 来近似地最大化 \(\log p_\theta(\mathbf{x})\)。因此,我们的最终目标是最大化变分下界 \(\mathcal{L}(\theta, \phi; \mathbf{x})\),以此来间接地最大化 \(\log p_\theta(\mathbf{x})\)。