大话统计:Frequentist or Bayesian

本文引自施涛的博客,其中重要的英文都进行了翻译,原文请点击此处

[前言:先向无法科学上网的客官作揖抱歉了,有些江湖野史可能被墙]

话说江湖风云人物,神算子 Nate Silver, 在纽约时报开博占卜各项江湖话题,每每言中。并著书立传, The Signal and the Noise,一时引来各相追捧

这日,曾留下武林秘籍 All of Statistics: A Concise Course in Statistical Inference 的大侠 Larry Wasserman (Department of Statistics, Department of Machine Learning, Carnegie Mellon University) 突发感想,在自己博客 Normal Deviate 中写下大号书评:
Nate Silver is a Frequentist: Review of “the signal and the noise”

[……]就如你可以看到的,我非常喜欢这本书,并强烈推荐它。
但是……
我有一点要倾诉。Silver非常热衷于贝叶斯推断,这是很好的。不幸的是,他属于我前几篇文章所写的这一类人—— 混淆了“贝叶斯推理”与“使用贝叶斯定理”两个概念。他对于频率派统计推断的描述是比较糟的。他似乎把频率推断等同于了常用于正态分布的费歇尔显著性检验。也许他是从一本劣质的书中学习的统计学,抑或他天天跟一群激进的反频率学派的统计学家厮混,以至于持这样的观点。

但毫无疑问的是:Nate Silver是属于频率派的。比如,他说过:

“预测中最重要的检验之一,而我认为又是重中之重的,便是校准(calibration)。虽然每次你说有40%的概率会下雨,而实际上雨会多久下一次呢?如果在整个预测时程中(从长远来看),真的大约有40%的时间在下雨,那么这意味着你的预测充分校准(误差很小)。”

这绝对是一种频率派的观点。如果使用贝叶斯定理可以有助于实现长程频率校准,那没问题,也挺好。如果没有,我便毫不怀疑他用了别的东西。总之他的目标很明确,就是得到优良的长期频率行为。[……]

一时间风雨突起,这个关于 Frequentist or Bayesian 的争议话题又现江湖。第一个杀出来的是?没错!正是大侠 Andrew Gelman (Department of Statistics, Columbia University),著名的 Statistical Modeling, Causal Inference, and Social Science 的博主。

Larry:
下面是一个预测概率的贝叶斯校准的例子。如果你用贝叶斯预测值p.hat(p.hat是后验期望E (y.new|y))来预测一个二元结果y.new,贝叶斯校准需要的条件是对于任何的 y.hat值都必须满足E (y.new|y.hat) = y.hat。但这并不是全部需要满足的条件(比如,校准很重要,精度也很重要),它与频率派校准以及无偏性都不同。在频率派校准中,期望值依赖模型中未知参数theta的取值。而你上述所言的校准(可以往下滚动看看另外一个例子)并不依赖参数theta,所以我并不同意这些校准是频率派而不是贝叶斯派的说法。当然,我完全同意评价频率表现的概念是非常重要的,不过它只是贝叶斯校准没有依赖于参数theta取值的情况而已。

江湖不宁,争论又起,各路人马加入论战。大侠 XI’AN’ OG 也出面提出把这场论战记入江湖册:

如果有可能的话,你们介意把这些评述发表在CHANCE上么?

看大侠们挥舞这各项理论和哲学思想,小的不尽倒吸一口凉气。问题原来是神算子是否属于少林派,还是武当派。怎么忽然就变成各派根据其所著之书,来统计推断其个人取向了呢?然后有演变为了两派镇派宝典根基的争论了。要是实在关心神算子心仪那派的问题,不如找来神算子本人问一下,到底人家对哪里更有归属感,不就行了。实在找不到本人,就@他,tweet 一下好了。

笔者觉得频率派像少林派,拳谱放哪里,你有足够数据就打,不够就回去收集更多的或回家洗洗睡。贝叶斯派则像太极拳,讲究以柔克刚。不管什么问题,有无数据都能对付。频率派与贝叶斯派间的硝烟仍在继续,不过何时使用频率派方法,何时使用贝叶斯派方法,还真是一个艺术问题。你就觉得呢?

关于COS编辑部

本账户为COS编辑部公共账户,目前由朱雪宁任主编,由王小宁和张心雨担任副总编,编辑有:蔡占锐,常象宇,邓金涛,邓一硕,丁维悦,范超,冯璟烁,冯凌秉,高涛,郎大为,吕翔,彭晨昱,邱怡轩,施涛,覃文锋,王健桥,魏太云,吴佳萍,谢益辉,熊熹,杨舒仪,于嘉傲,主要负责主站文章的规范化编辑以及相关论文、书籍、手册的整理、编纂、出版等工作。

大话统计:Frequentist or Bayesian》有9个想法

    1. 这个是个哲学问题。我其实一直不知道这样的争论意义在哪里。就事论事,关于你的问题,下面是我的回答:

      定义Bayesian 和 Frequentist的问题可以归结为人们对概率本体论性质(ontological nature of probability)的看法。很拗口是不是?其实就是怎么定义“概率”的问题。
      1、Frequestist认为,“概率”是长期的频率。我们说对某结果发生概率预测是正确的是指(拿投硬币正面概率是0.5做例子):你不断的重复投硬币,投的次数越多,正面朝上的频率越接近0.5。
      2、Bayesian是根据先验信息来给出“概率”。假设姐说手上这硬币姐打娘胎里出来就拽着呢,跟了姐一辈子,姐比谁都熟悉这硬币,落地保证是正面,概率为1。而且神说了,关于这硬币的所有事情只能听这位姐姐的。于是你就算投1000次都是反面,这硬币落地正面的概率也被定义为1。

      (这只是个极端的例子,挑Bayesian的先验也得合理,不然神都不理你。)

      一句话概括:Frequestist是客观唯物主义,Bayesian是主观唯心主义。

      1. 个人感觉贝叶斯应该是融合了主观与客观信息 毕竟没事就尝试个千八百次也不现实 很多实验也不可重复 楼上的例子好极端 我来个朴素的:

        你拿到一枚硬币 它有两种可能 一种就是正反面都同样可能出现的A硬币 另一种正面出现的可能比反面大三倍的B硬币

        你现在如果想判断手里这枚硬币 有两种办法

        第一就是频率学派 玩命试个10000次 如果发现正面明显多 那么就是B硬币了
        而贝叶斯不一样 它融合了先验 也就是你知道这个可能是哪种 也许B硬币手感不一样 可能你摸上去就肯定了 于是即使后来尝试几十次发现正面没多多少 你也会觉得可能是运气不好 还是认为是B硬币可能大 毕竟手感也会影响你的判断

        总结起来就是 频率学派更加物质 贝叶斯有点人味儿 而争论就是因为 这两个都是有意识的人类提出来的 所以我们不得不考虑人的作用 也就是主观

      2. 也可以说Bayesian 和 Frequentist 都是些主观唯物主义。Frequentist 通过选择模型来加入主观观点。毕竟数据可以和无数的模型不冲突,选一个来用时主观因素就进来了。Bayesian在选择了模型后又更进一步,通过先验概率和Bayes公式来把跟多的主观观点加入分析中。这样更灵活,也更容易出错。
        不管是Frequentist的模型还是Bayesian 的模型+先验概率,都可能和实际情况差距很远,所以还是实际结果说了算。最后Validation在应用中很重要,不管什么方法,各种定理,主观客观,不被独立数据检验的话都最后都可能成了空中楼阁。

  1. 主观唯物主义,这流派霸气。我阅读小说有限,在我记忆中,少林和武当虽然源远流长,但哪个都不曾是天下第一吧?“大话”两个字深深地暴露了作者的年龄。

发表评论

邮箱地址不会被公开。 必填项已用*标注