专题：信息论
共3篇相关文章
两个多维高斯分布的KL散度如何推导？
在深度学习中，我们通常对模型进行抽样并计算与真实样本之间的损失，来估计模型分布与真实分布之间的差异。并且损失可以定义得很简单，比如二范数即可。但是对于已知参数的两个确定分布之间的差异，我们就要通过推导的方式来计算了。 下面对已知均值与协方差...
深度变分信息瓶颈是什么？
Deep Variational Information Bottleneck (VIB) 变分信息瓶颈 论文阅读笔记。本文利用变分推断将信息瓶颈框架适应到深度学习模型中，可视为一种正则化方法。 变分信息瓶颈 假设...
Jensen不等式可视化如何呈现分布？
Jenson不等式描述对于一个凸函数，期望值与函数作用后的期望值之间的关系。本文对其进行可视化以获取直观理解。 对于积分为1的非负函数$p(x)$，即 $displaystyleint_{-infty}^{infty}p(x) dx...