写于 2017-06-25 06:05:09| 注册送体验金娱乐官网| 外汇

Nate Silver可以做错吗

在选举和棒球统计之间,白银已经成为美国的世俗预言之神

现在他拥有畅销书“信号和噪音”,他在其中讨论了广泛领域的挑战和预测科学,涵盖政治,体育,地震,流行病,经济学和气候变化预测因子如何去做出准确的预测

为什么某些类型的预测,如地震将会如此困难

对于那些希望更多地了解统计数据和预测艺术的外行读者来说,这本书应该是必不可少的阅读本书的唯一严重错误在于其核心技术要求广义上讲,预测由三部分组成:动态建模,数据分析和人类判断本书最有价值的部分之一是Silver描述了这些不同预测要素之间的相互作用的方式,其中包括数学建模不能完全取代人类判断的情况

例如,天气预测综合判断与计算相比,仅依靠计算机程序的精确度高出10%到25%

在美国职业棒球大联盟中,大多数球队最终都依靠硬性数据和老派人类球探的组合

做出了杰出的工作,拒绝了Chris Anders于2008年在Wired发表的臭名昭着的(但荒谬的)预测,即大数据将会使发展科学理论和模型“过时”;正如Silver指出的那样,原始数据无论多么广泛,在没有模型的情况下都毫无用处:“数字无法为自己说话......数据驱动的预测可以成功 - 而且可能会失败当我们否认我们在流程中的角色时失败的可能性上升“银的一个失误来自他倡导称为贝叶斯推断的方法根据Silver的激动人心的介绍,贝叶斯定理名义上是一个数学公式但它实际上远不止于此它意味着我们必须以不同的方式思考我们的想法在第8章之前就已经消失了,事实上银牌游说的方法并不是创新;相反(正如他最终承认的那样),它是建立在大学概率课程第一周通常教授的250年历史的定理之上的,不仅如此,这种方法和方法一样有价值,大多数统计学家都看到它只是局部解决一个非常大的问题贝叶斯方法在预测事件发生概率时特别有用,例如,在事先有较强的事件知识的情况下假设,例如(借用一个旧的例子Silver复活)她四十多岁的时候去了一次乳房X光检查,并收到坏消息:“积极的”乳房X线照片然而,由于不是每一个阳性结果都是真实的,她实际上患有乳腺癌的概率是多少

为了计算这一点,我们需要知道四个数字四十年代患有乳腺癌的女性比例是0014,大约是七分之一没有患乳腺癌的那部分因此是1 - 0014 = 0986这些部分被称为先验概率女性患乳腺癌的概率在乳房X光检查中会得到阳性结果075没有乳腺癌的女性在乳房X光检查中会出现假阳性的概率是01这些被称为条件概率应用贝叶斯定理,我们可以得出这样的结论:在得到阳性结果的女性中,实际上患有乳腺癌的部分是(0014 x 075)/((0014 x 075)+(0986 x 01))= 01,大约是,一旦我们看到了测试结果,这个机会大约有百分之九十是误报

在这种情况下,贝叶斯定理是工作的完美工具

这种技术可以扩展到各种其他应用程序

其中一个最好的篇章在Silver的书中,Silver一步一步地描述了使用概率推理在投注德克萨斯扑克时放置投注的情况,同时考虑了已经处理并且将被处理的扑克牌上的概率;您可以从他们所投注的赌注中收集到关于对手双手的信息;以及你对他们是什么样的球员(积极的,谨慎的,愚蠢的等等)的总体判断

但是,当没有关于先验概率应该是什么的共识时,贝叶斯方法的帮助更小 例如,在一系列臭名昭着的实验中,斯坦利米尔格拉姆表明,如果被告知这是为了科学的利益,许多人会折磨受害者

在进行这些实验之前,如果这些结果被指定为低的先前(因为没有人会认为他们自己会这么做),或者事先很高(因为我们知道人们接受权力)

在实际操作中,大多数科学家大多数时间使用的评估方法是统计学家Ronald Fisher在20世纪初提出的一种技术的变体

粗略地说,在这种方法中,只有在数据通过时才认为数据验证了假设如果数据是随机生成的,那么这个测试将失败95%或99%的时间

费舍尔方法的优势(这绝非完美)是在一定程度上避免了估计先验的问题,其中没有足够的预先信息在绝大多数科学论文中,Fisher的统计数据(以及该传统中更复杂的统计数据)被使用不幸的是,Silver对贝叶斯方法的替代方法的讨论是轻视,不完整和误导在某些情况下,Silver往往将成功的推理归因于使用贝叶斯方法而没有任何证据表明这些特定分析实际上是在贝叶斯中执行的时尚例如,他写了关于鲍勃沃尔加里斯,一个篮球赌徒,鲍勃的钱也在贝叶斯他每次做预测时都没有从字面上应用贝叶斯定理但是他在假设和信仰背景下测试统计数据的实践他的篮球知识是非常贝叶斯的,因为他接受问题的概率答案让他感到安慰

但是,从前三十页的描述来看,Voulgaris遵循本能,而不是花哨的贝叶斯算术

在这里,Silver似乎使用“贝叶斯”而不是意味着使用贝叶斯定理,而是结合许多不同类型信息的总体策略

再举一个例子,Silver详细讨论了John Ioannidis撰写的一篇重要且令人不安的论文,“为什么大多数发表的研究发现是错误的”,并且离开如果统计人员使用贝叶斯方法而不是跟随Fi,那么读者可以解决Ioannidis提出的问题的印象sher Silver写道:[Fisher's classical]方法不鼓励研究人员考虑其假设的背景或合理性,贝叶斯方法以先验概率的形式提出要求

因此,您将看到关于蟾蜍如何预测的显然严肃的论文地震......应用频率测试来产生“具有统计意义的”但显然荒谬的结果但美国宇航局2011年对蟾蜍的研究实际上是重要和有用的,而不是一些“明显荒谬”的从稀薄空气中汲取的发现这是对地下水化学的深思熟虑的分析,自然主义观测(一群蟾蜍在几天后发生的地震震中附近的意大利附近放弃了一个湖泊)和理论(关于电离层扰动和水成分)相结合太多已发表的研究是错误的真正原因是并不是因为很多人正在测试荒谬的事情,这很少发生在顶级科学期刊上;这是因为在任何一年,制药公司和医学院都会进行数千次实验

在任何一项研究中,都存在一些小误报的可能性;如果你做了大量的实验,你最终会得到很多误报结果(即使抛开自我欺骗,倾向于报告积极的结果和彻底的欺诈) - 就像Silver自己实际上解释了两页之前切换到贝叶斯方法评估统计数据不会解决潜在的问题;清理科学需要改变科学研究的方式和评估方式,而不仅仅是一个新的公式这对Silver来说更喜欢贝叶斯方法是完全合理的 - 该领域已经分裂了近一个世纪,每个方面都有自己的方法论点,创新和解决方法 - 但是,偏好贝叶斯到费舍尔的情况远比银子轻松得多,并且没有任何理由认为贝叶斯方法是一种“思维不同”的革命

“信号和噪音“是一本了不起的书,值得欣赏 但是,要解决应用统计学领域的许多挑战,需要比贝叶斯非常有用的定理更多的内容

加里马库斯和厄内斯特戴维斯是纽约大学的教授马库斯还为纽约客人写了关于神经科学的事实和虚构,道德机器,网络搜索的未来以及清理科学需要做的事Beth Rooney / The New York Times / Redux