Hanpier's Blog

少吃零食,多睡觉

变分下界

公式推导

我们的目的是最大化 \(\log p_\theta(\mathbf{x})\),即最大化给定数据 \(\mathbf{x}\) 的生成概率。然而,由于 \(p_\theta(\mathbf{x})\) 往往难以直接计算,我们可以通过最大化变分下界 \(\mathcal{L}(\theta, \phi; \mathbf{x})\) 来近似地最大化 \(\log p_\theta(\mathbf{x})\)。因此,我们的最终目标是最大化变分下界 \(\mathcal{L}(\theta, \phi; \mathbf{x})\),以此来间接地最大化 \(\log p_\theta(\mathbf{x})\)

阅读全文 »

https://lilianweng.github.io/posts/2018-08-12-vae/#reparameterization-trick 中文翻译

从Autoencoder到beta-VAE

Autoencoder是一个为了使用中间有一个狭窄的bottleneck的神经网络模型重建高维数据而发明的(对于Varaitional Autoencoder可能不是这样的,我们将在后面的章节中详细研究它)。一个很好的副产品是降维:bottleneck层捕获了压缩的潜在编码。这样的低维表示可以用作各种应用(即搜索中的嵌入向量),帮助数据压缩,或者揭示潜在的数据生成因素。

阅读全文 »

1. k-Fold交叉验证代码

k-Fold交叉验证是一种在机器学习中常用的验证模型性能的方法。它将训练数据集分为k个大小相似的互不重叠的子集,每个子集验证一次,最终验证结果是k次验证结果的平均值。

以下是使用python实现的k-Fold交叉验证代码:

阅读全文 »