专题：概率论
共11篇相关文章
概率论沉思录：合情推理，为何不是严谨逻辑的替代？
最近蔻享学术主办了每周一次的《概率论沉思录》读书会活动，恰好我也正在读该书中译版，通过该活动我了解到了不同学科的老师（数学物理统计计算机）对这本书的不同理解，而我自己对该书的理解也在这个过程中逐渐深入了。于是准备每周都持续更新一下我的...
概率论沉思录：定量规则，如何为？
我们在上一篇博客中介绍了合情推理中所要满足的合情条件。在这一篇博客中我们将看到，上述条件皆不是空穴来风，而且不多不少刚刚好。一旦我们导出了满足上述合情条件的合情推理定量规则，我们就会发现，我们实际上就得到了概率的原始定义（乘法规则 &...
概率论沉思录：初等抽样论，能否涵盖所有的抽样奥秘？
我们先考察无放回抽样（sampling without replacement） 实验，也即从有N个球的坛子里无放回地抽n个球，我们会发现实验结果服从超几何分布广义超几何分布。接着，我们会讨论前向推断和后向推断两类问题。然后，我们会研究无...
概率论沉思录：初等假设检验，其形式可以是：概率论中，初等假设检验的原理和步骤究竟有何深意？
我们在上一篇博客中介绍了传统的抽样理论。其中，我们导出了几种经典的抽样分布，也即给定关于所观察现象的假设H，数据D的概率分布p(D | H)。在上一篇博客中提到的伯努利坛子模型中，假设H即坛子的内容，数据D即重复抽球所生成的红球和白球序列。...
概率论沉思录：概率论有哪些怪异应用？
我们在上一篇博客中介绍了采用贝叶斯方法进行假设检验。其中，我们提到了公式：P(H | DX) = P(H | X)P(D | HX)P(D | X)，其中X为先验信息，H为待检验的假设，D为数据。该公式是我们试图从数据中得出结论的一大类科...
HMM隐马尔可夫模型，你能详细解释一下吗？
隐马尔可夫模型（Hidden Markov Model, HMM）是可用于标注问题的模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。马尔可夫链不懂的可以把本科的《概率论与数理统计》找回来看一下，并不难，就是离散状态之间的转...
如何通过构建一个关于样本协方差矩阵定义与计算的？
定义 协方差矩阵是用来衡量一组随机变量之间的线性关系的矩阵。我们都知道，对于$n$个随机变量$X_1,X_2,...,X_n$，总体协方差矩阵定义为： $ left[ begin{matrix} D(X_1)&C...
协方差与联合概率密度、几何意义间有何神秘联系？
以二维正态分布来举例。当方差不变，而协方差变化时，分布沿着长宽比等于两个方差之比的矩阵逐渐变窄。如下图所示： 两个分布的标准差都为0.1，均值都为0，协方差左边从0一直上升到0.01，右边从0下降到-0.01。 看了这个图，有人可能会问，随...
两个多维高斯分布的KL散度如何推导？
在深度学习中，我们通常对模型进行抽样并计算与真实样本之间的损失，来估计模型分布与真实分布之间的差异。并且损失可以定义得很简单，比如二范数即可。但是对于已知参数的两个确定分布之间的差异，我们就要通过推导的方式来计算了。 下面对已知均值与协方差...
VAE和变分推理，是吗？
变分自动编码器的大致概念已经理解了快一年多了，但是其中的数学原理还是没有搞懂，在看到相关的变体时，总会被数学公式卡住。下决心搞懂后，在此记录下我的理解。 公式推导——变分下界 这篇文章提出一种拟合数据集分布的方法，拟合分布最常见的应用就是生...
Beta分布的推导与可视化是如何实现的？
$Gamma$函数 $Gamma$函数（Gamma函数）是阶乘函数在实数和复数域的扩展。对于正整数$n$，阶乘函数表示为$n! = 1 times 2 times ... times n$。然而，这个定义仅适用于正整数。Gamma...