关于贝叶斯主义那曲折动人的历史，需要讲一点关于 17 世纪的闲话很有好处，那正是布莱兹·帕斯卡和皮埃尔·德·费马终于尝试将概率这个概念数学化的时代。
来源 | 《贝叶斯的博弈：数学、思维与人工智能》
作者 | 黄黎原（Lê Nguyên Hoang）
译者 | 方弦
1
拉普拉斯，贝叶斯主义之父
实际上，称得上贝叶斯主义者第一人的并不是英国人，而是法国人皮埃尔–西蒙·拉普拉斯。拉普拉斯是历史上最伟大的数学家之一，他大概也是我心目中最伟大的英雄。长久以来，他为人们所熟知的原因是他对分析及其在天文学中的应用所做的工作，他将这些工作成果集结成五卷题为《天体力学》（Traité de mécanique céleste）的著作并发表。特别是，这本巨著给出了关于太阳系稳定性问题的新解答。牛顿此前已经证明了，如果宇宙中只有地球和太阳，那么它们就会组成一个稳定的系统，直到时间的尽头。然而，如果这个模型必须包括木星的话，那么相应的方程就无法求解。牛顿最后举手投降，得出的结论是只有上帝的干预才能给予这个复杂系统秩序，将行星的轨道稳定下来。
装备上以他自己的名字命名的“拉普拉斯变换”等新数学分析工具之后，拉普拉斯成功给出了太阳系其实无须上帝的干预也很稳定的理由。拿破仑·波拿巴在阅读了拉普拉斯的《天体力学》之后，问了一句：“牛顿在他的书里谈到了上帝。我看了你的书，这个名词在里面一次都没有出现过。”拉普拉斯的回答是：“我不需要上帝这个假设。”
然而，拉普拉斯并没有完全严谨地解决太阳系稳定性的问题，而我们绝不能责怪他。之后一代又一代数学家在这个难得超出想象的问题上磕磕绊绊，其中包括卡尔·弗里德里希·高斯、亨利·庞加莱、安德烈·柯尔莫哥洛夫、雅克·拉斯卡尔和塞德里克·维拉尼。正如庞加莱在他自己的一篇本应证明了太阳系稳定性的论文中找出了错误那样，数学界与天体物理学界对于太阳系稳定性的置信度也是左右摇摆的。在今天，雅克·拉斯卡尔的模拟似乎获得了科学界的肯定。这些模拟预言：太阳系将在很长一段时期内变得不稳定。但请放心，要看到这一天还需要相当长的时间。
拉普拉斯在解决这个问题时遇到的困难之一就是手头上的观察结果不够准确。需要说明一下，这些数据来自公元 1000 年左右的阿拉伯人、公元 100 年左右的古罗马人、公元前 200 年的古希腊人，甚至公元前 1100 年的中国人。但不巧的是，当时的测量仪器都不够精确。拉普拉斯手头的数据是错误的，但他是怎样还能够探索这些含有错误的数据的呢？
拉普拉斯着手研究这个问题的角度也是典型贝叶斯式的。他知道此前数个世纪天文学家的观察结果，而且需要从中推断错误的原因——天体在天空中真正的位置。在意识到这个问题的结构之后，即使他当时似乎还没有听到有关贝叶斯的发现的风声，拉普拉斯还是正面进攻了这个逆概率问题。1774 年，拉普拉斯发表了《论事件原因存在的概率》（Mémoire sur la probabilité des causes par les événements）。这是多么出色的文章！他在论文中结合了棣莫弗之前的工作、拉格朗日创造的分析工具以及他本人的才华，以最广泛、最壮丽的方式确立了贝叶斯公式。
拉普拉斯的兴趣并不止于天文学。在之后的岁月里，他将想法发表在了两部著作中。在书中，他将数学延伸到了通常的应用领域以外。拉普拉斯还特别提出，除了可以将他的概率理论应用到天文学等自然科学之外，还可以应用到社会科学、目击证词、医学检验、法庭审判、人口普查等许多其他问题上。拉普拉斯还亲自利用自己的新理论来研究新生儿的性别，这让他以很高的置信度得出了结论：新生儿更可能是男孩而不是女孩。
对拉普拉斯来说，概率推理不过是常识的数学化。他肯定将贝叶斯公式看成思考的正确方式。然而，他也意识到同时代的人在应用这个公式时会重复犯下某些错误。与他同时代的人的“常识”被谬论侵蚀了。因此，拉普拉斯的著作中有一部分可以被看成认知科学的萌芽。
在他生命最后的时光中，拉普拉斯同样发展了非贝叶斯式的统计方法，它们特别依靠于他证明的中心极限定理。所以拉普拉斯也理解，对于足够大的数据集来说，这种频率主义式的做法等价于贝叶斯主义式的做法。出于处理大量数据时的便利性，拉普拉斯最终更倾向于在众多实践事例中利用非贝叶斯式的方法。拉普拉斯是一位实用贝叶斯主义者。
2
拉普拉斯接续法则
现在我们先讨论拉普拉斯 1774 年的文章中最巧妙的计算之一。为了展示他关于逆概率的理论，拉普拉斯引入了一个例子，其中有一个罐子，里边有大量白色和黑色纸条。这个例子实际上与贝叶斯提出的那个问题非常相似——学数学的人会说，这两个问题是同构的。假设罐中白色纸条的比例是未知的，拉普拉斯从罐中随机抽取了一张纸条，那张纸条是白色的。我们可以对罐中白色纸条的比例有什么想法？如何解释抽取的纸条是白色的？抽出一张白色纸条的原因是什么？
频率主义的斗士费希尔很可能就会举手投降，说这个问题毫无意义。对费希尔来说，这是一个非统计学、非科学的问题，甚至是一个没有意义的问题。
拉普拉斯可不这样想，他提出了一个聪明的想法，就是以抽纸条之前对白色纸条的比例的偏见为出发点。拉普拉斯进行了先验的假设，认为白色纸条的比例是 0 和 1 之间的一个（均匀分布的）随机数。要注意到，拉普拉斯的这一随机变量并不代表真实的不确定性，而是代表了他（主观上的）无知。
无论如何，拉普拉斯之后进行了贝叶斯式的推理，目的是根据抽出纸条的颜色来更新他的偏见。在应用贝叶斯公式（其实是拉普拉斯自己的公式）之后，拉普拉斯得出了这样的结论：白色纸条的后验比例仍然是一个在 0 和 1 之间的随机数。但如果要预测从罐中抽出的下一张纸条的颜色，那么他会向白色这个可能性赋予 2/3 的概率。
在更一般的情况下，如果之前已经抽取出 张白纸条和 张黑纸条的话，对于下一张从罐中抽出的纸条，拉普拉斯会向“它是白色的”这个可能性赋予 的概率。这就是拉普拉斯接续法则，可以由贝叶斯公式推导出来。
不巧的是，我在本书中无法展开叙述拉普拉斯的贝叶斯式计算需要的分析工具，但我强烈建议有兴趣的人去看看他写于 1774 年的那篇文章第 30 页中的问题 1，该文章可以在互联网上免费获取。
拉普拉斯的天才之处在于结合了两种随机性：抽取纸条的随机性，以及为拉普拉斯对白色纸条比例的无知而建模的随机性。如果与拉普拉斯同时代的人肯花时间理解他对这个问题的解答中的精妙之处，科学与科学哲学的历史可能会出现又一个转折点。
比如说，拉普拉斯的接续法则使他最终能回答休谟的问题：已知连续 天太阳照常升起，我们能否相信明天太阳仍会升起？
如果把每一天看成一张纸条，黑色纸条对应太阳升起，白色纸条对应太阳没有升起，那么有 以及 。所以，假如应用拉普拉斯的贝叶斯理论的话，我们就可以根据这些数据预言明天太阳不会升起的概率等于 。
拉普拉斯援引《圣经》，选择了相当于 5000 年的天数作为 值，这让他得出明天太阳不会升起的概率大概是一百万分之一。面对这个荒唐的结果，拉普拉斯立刻补充道：“考虑到在世界万事中存在司掌昼夜与季节的原则，且尚没有任何事物能阻碍其运转，这个数目（一百万分之一）还是太大了。”贝叶斯主义者在细化预测结果时，应该考虑自己的所有知识。
不巧的是，尽管写出了这样的评注，拉普拉斯的预测仍然引来了暴风骤雨般的批评。这个预测惹来了一遍又一遍的嘲笑，这让很多人对拉普拉斯的概率理论嗤之以鼻。拉普拉斯这个不幸的预测可能是贝叶斯主义在之后两个世纪式微的主要原因。然而奇怪的是，依照现在的知识来看，拉普拉斯的公式实际上准确得惊人！
首先，我们必须修正拉普拉斯的 值。今天，我们知道了太阳每天升起已经持续了大约 50 亿年。这样的话，拉普拉斯的公式就告诉我们，太阳明天不会升起的概率大概是两万亿分之一。特别是，我们其实也预测了太阳在数十亿年后就不会再升起了。然而令人饶有兴味的是，天体物理学家今天也告诉我们，太阳在 50 亿年后会变成红巨星，膨胀到把地球吞噬。即使并非出于太阳向红巨星转变的原因，拉斯卡尔的模拟也指出，地球这颗蓝色行星最终会在数十亿年后脱离轨道。真是不可思议！现代物理学给了我们两个认为拉普拉斯的预测正确的理由！
有人可能认为这是一个无法解释的神奇巧合。这毋庸置疑就是运气，因为拉普拉斯的预测本质上是概率性的——什么都可能发生！另外，如果将同样的推理应用到宇宙未来是否会消失这个问题上，那么最终似乎会失败。雪上加霜的是，我在这里的阐释也不完全符合贝叶斯主义。然而，这个巧合其实并不像人们朴素的想象那么神奇。想象一下，我们现在希望根据某人的年龄预测他的寿命。拉普拉斯的方法 得出的预测就是，这个人接下来还能活上和他目前年龄一样的年数。当然，如果这个人是新生儿或老人，那么这种预测就很有问题了。然而，这不太可能发生。在绝大部分情况下，我们碰到的是 20 岁和 60 岁之间的人，由此预测的人类寿命大概在 40 岁和 120 岁之间。
更妙的是，假设人类寿命等于 100 岁，而各年龄段在总人口中的占比不相上下，那么概率计算给出的结果就是，人类预期寿命的平均预测结果刚好是 100 岁！
这个神秘的现象被作家艾伯特·戈德曼称为林迪效应，后来数学家伯努瓦·曼德尔布罗和统计学家纳齐姆·塔利布也沿用了这一名称，这个名字源自一个叫作林迪（Lindy's）的餐馆，喜剧演员经常在那里讨论怎样才能在演艺界坚持更长的时间。戈德曼注意到，某位喜剧演员之后出现在餐馆的次数与他已经出现过的次数成正比。曼德尔布罗补充道：“无论某人已产生的工作量有多少，日后其工作会增加同样的工作量。”然后塔利布对这个经验观察结果做出了解释，他在这里用的是所谓的幂律，它无处不在，比如令人惊异的齐普夫定律（Zipf's law）就是其中一例。它预言了在一篇文章中出现频率排第 位的字母，其出现频率大概就是出现频率最高的字母的 分之一。
拉普拉斯的接续法则有着无比惊人的大量的实际应用，其中之一就是让人们在第二次世界大战中根据俘获的纳粹坦克的序列号，推断出坦克的总数。
《贝叶斯的博弈：数学、思维与人工智能》
作者：黄黎原
译者：方弦
法国数学类科普书、大学数学参考及教材类图书畅销书目，在机器学习、人工智能、逻辑学和哲学等众多领域中，探索贝叶斯定理蕴藏的智慧与哲理。
贝叶斯定理一旦与算法相结合，就不再是一套枯燥的数学理论或认识论，而变成了应用广泛的知识宝库，催生了众多现代数学定理，以及令人称道的实践成果。返回搜狐，查看更多
