概率论沉思录：概率论有哪些怪异应用？

.center { width: auto; display: table; margin-left: auto; margin-right: auto } 导言 我不想在这里掩盖一个事实：在这些规则的具体应用中，我预见到会发生许多事情，如果不谨慎行动，可能会犯严重的错误。 ——詹姆斯·伯努利（James Bernoulli, 1713, 第四部分第3章[1]） 我们在上一篇博客《概率论沉思录：初等假设检验》中介绍了采用贝叶斯方法进行假设检验。其中，我们提到了公式： \[P(H\mid DX) = P(H\mid X)\frac{P(D\mid HX)}{P(D\mid X)} \] 其中\(X\)为先验信息，\(H\)为待检验的假设，\(D\)为数据。该公式是我们试图从数据中得出结论的一大类科学推断问题背后的基本原理。 在这一篇博客中，我们将看下采用贝叶斯方法进行的假设检验在实践中是如何表现的。我们将讨论一些概率论的“怪异”应用[2][3]。所谓“怪异”，即“偏离常规”，没有正确地使用概率论导致了错误。大概任何全新的应用都必须经过这种类似的怪异探索阶段。在许多情况下，我们认为今天的怪异应用可能成为明天受人尊敬的有用应用。我们将会使用贝叶斯分析来重新考虑这些问题，并消除掉其中的“怪异”，获得一些有用的结论。 在这一篇博客中，我们将用概率论来测量我们对各种假设的信念。我们将会看到，除了数据之外，备择假设、对假设先验概率的分配、对数据的解释方式等等也会对我们对假设的信念产生重要的影响。其中，我们会提到我们在上一篇博客中提到过的“死假设复活”现象。我们将会看到：无论后续数据给出的证据如何，一个始于\(-100\text{dB}\)的假设\(A\)可能永远难以令人置信，因为几乎肯定有许多其它假设\((B_1, B_2, \cdots)\)的可能性比它的更高，也许是\(-60\text{dB}\)。这样，当我们获得可能“复活”假设\(A\)的惊人数据时，这些备择假设也可能“复活”（我们在下文的心灵感应和海王星的发现的例子中将看到这一点）。 1 斯图尔特夫人的心灵感应能力 我们现在来测量我们对特异功能（extrasensory perception, ESP）的信念有多强。假定我们对特异功能的初始信念为\(-100\text{dB}\)。如果我们遇到一个人，能够正确猜出我们背着他写下的数\(1000\)次，我们是否就会相信他具有特异功能呢？ 考虑如下关于格洛丽亚·斯图尔特夫人的心灵感应能力的一个实验。在该实验的报告中，根据实验设计，如果随机猜测的话，每次能正确猜出一张卡片的概率都是\(p=0.2\)，并且在每次试验中是独立的。根据这个信息，我们可以得到在\(n\)次试验中随机猜测且猜测成功的次数\(r\)服从二项分布\(b(r\mid n, p)\)（参见博客《概率论沉思录：初等抽样论》）。令「\(H_p\)：只有纯粹偶然性在起作用」为零假设。根据二项分布，如果受试者没有特异功能，则\(n\)次试验中猜测成功的次数\(r\)约为\([(\text{均值})\pm (\text{标准差})]\)： \[(r)_{\text{est}} = np \pm \sqrt{np(1 - p)} \] 对于\(n = 37100\)次试验，结果约为\(7420\pm 77\)。 但是，据报告，格洛丽亚·斯图尔特夫人在\(37100\)次试验中猜对了\(9410\)次，成功率\(f\approx 0.2536\)。这些数值构成了我们的实验数据\(D\)。乍一看，这些数据并不引人注目。但请注意，她的得分与机会期望相差 \[\frac{9410 - 7420}{77}\approx 25.8 \] 个标准差。 我们现在想对我们的零假设\(H_p\)进行检验，看下以这个假设为条件能否生成我们的实验数据。