索引 / 001 ZH-CN
The Art of Statistics: Learning from Data(统计的艺术:从数据中学习) cover

数学

数学

The Art of Statistics: Learning from Data(统计的艺术:从数据中学习)

David Spiegelhalter

英文原名: The Art of Statistics: Learning from Data

一本由知名统计学家撰写、不依赖技术细节却内容扎实的统计思维入门书。每章从一个真实问题出发,例如某种疗法是否有效、灾难中会有多少人幸存,借此讲解数据汇总、概率、抽样、估计、假设检验、回归、贝叶斯推理以及可重复性方面的陷阱。

需要的基础: 除中学数学外无正式先修要求;公式极少,并集中列在术语表中。

难度等级
入门
学术层次
本科
统计学概率data analysisstatistical inferencestatistical literacy

01 / 导读

导读

引用

Spiegelhalter, D. (2020). The Art of Statistics: Learning from Data. Pelican (Penguin Books).

章节概要

本书包括引言、十四章、术语表(书中为数不多的公式都集中在这里)、注释和索引;Pelican 平装本开本较小,约 450 页。每章都围绕真实的问题和数据组织,书评着重指出本书不依赖数学公式来讲授统计推理。作者维护着一个公开的 GitHub 仓库,提供书中图表的数据和 R 代码以及勘误。

引言

本书从家庭医生哈罗德·希普曼谋杀大量病人的案件讲起,展示受害者年龄和死亡时间的简单图表如何揭示其中的模式。随后说明本书的目标:通过各种问题——从乳腺癌手术后不同疗法的益处,到老年男性的耳朵为什么大——讲解如何从数据中学习。

第1章:Getting Things in Proportion: Categorical Data and Percentages(正确看待比例——分类数据与百分比)

本章利用儿童心脏手术的存活数据,说明比例如何呈现、框架效应如何改变其效果:95% 的存活率听起来比 5% 的死亡率更好,而绝对数字可能比百分比更令人担忧。比值(odds)也作为表达风险的另一种方式出现。

第2章:Summarizing and Communicating Numbers. Lots of Numbers(概括与传达数字——大量的数字)

用估计罐中软糖数量的例子和一项关于自报一生性伴侣数量的调查,讲解平均数(均值、中位数和众数)以及离散程度的度量。本章还介绍从条形散点图到箱线图等数据展示方式,以及相关和随时间变化的趋势,例如人口增长。

第3章:Why Are We Looking at Data Anyway? Populations and Measurement(我们究竟为什么要看数据?——总体与测量)

讨论从手头数据走向想要了解的总体这一步,以及其间出现的测量和抽样问题;出生体重数据是例子之一。

第4章:What Causes What?(什么导致了什么?)

用虚假相关和误导性的新闻标题说明为什么相关不等于因果。本章解释队列研究和病例对照研究等研究设计如何设法接近因果,并通过剑桥大学的录取率介绍辛普森悖论。

第5章:Modelling Relationships Using Regression(用回归建模关系)

回归从弗朗西斯·高尔顿关于父子身高的数据讲起——“向均值回归”的概念正源于此——再扩展到对儿童心脏手术数据的逻辑斯蒂回归。

第6章:Algorithms, Analytics and Prediction(算法、分析与预测)

以泰坦尼克号上的生还情况为贯穿全章的例子,讨论预测和分类:分类树以及过拟合的危险。关于算法面临的挑战的一节列出了缺乏稳健性、隐性偏差等警示信号。

第7章:How Sure Can We Be About What Is Going On? Estimates and Intervals(我们对正在发生的事能有多大把握?——估计与区间)

讨论估计中的不确定性:误差范围、通过对数据重新抽样来观察估计值如何变化的自助法(bootstrap),以及平均数趋向正态分布的倾向。

第8章:Probability – the Language of Uncertainty and Variability(概率——不确定性与变异的语言)

通过德·梅雷骑士的骰子问题和模拟引入概率。本章讨论泊松分布(应用于凶杀案数量)、检察官谬误,以及关于概率含义的不同解释。

第9章:Putting Probability and Statistics Together(把概率与统计结合起来)

这一章把全书前后两部分连接起来,一位书评人指出,作者提醒读者这可能是最难的一章。它区分对未来事件的不确定性和对已确定但未知的事实的不确定性,并利用概率模型得出置信区间;用于比较机构的漏斗图也是其中的例子。

第10章:Answering Questions and Claiming Discoveries(回答问题与宣称发现)

讨论假设检验:原假设与统计显著性、置换检验、卡方拟合优度检验(检验凶杀案是否服从泊松分布)以及序贯检验,最后用来回答希普曼能否更早被发现的问题。

第11章:Learning from Experience the Bayesian Way(用贝叶斯方式从经验中学习)

介绍根据证据更新概率的贝叶斯方法,作为第10章检验框架之外的另一种选择。

第12–14章:How Things Go Wrong; How We Can Do Statistics Better; In Conclusion(哪里会出错;怎样把统计做得更好;结语)

最后几章转向统计如何出错,包括研究及其传播中的可疑做法,随后讨论能够改进统计的生产、传播和评判的做法,并以简短的总结收尾。

核心概念

引言–第3章:描述数据

  • 框架效应:同一个比例可以用正面或负面的方式呈现,从而改变人们的感受。
  • 集中趋势与离散程度的度量:均值、中位数、众数和极差,以及各自适用的场合。
  • 总体与样本:所收集的数据与其应当代表的群体之间的区别。

第4–6章:因果、模型与算法

  • 相关与因果:为什么仅有关联并不能说明一事导致另一事。
  • 辛普森悖论:在每个子群中都成立的趋势,在合并后却发生逆转。
  • 向均值回归:极端测量值之后往往出现不那么极端的值。
  • 过拟合:预测模型与数据贴合得过紧,以致对新情况预测不佳。

第7–9章:不确定性与概率

  • 误差范围与置信区间:表示估计值可能偏离真值多远的范围。
  • 自助法:对观测数据重新抽样,以观察估计值的变动幅度。
  • 检察官谬误:把“无辜时出现该证据的概率”与“有该证据时无辜的概率”混为一谈。

第10–14章:检验、贝叶斯与良好实践

  • 原假设与统计显著性:没有效应这一默认假设,以及判断数据是否出人意料到不能再相信它。
  • 序贯检验:在数据陆续到来时进行监测,同时控制误报风险。
  • 贝叶斯更新:根据新证据修正概率。
  • 可疑做法:数据的分析、解释和传播可能误导人的种种方式。

评析

优点

  • 问题先行。 每章都从真实问题出发——希普曼的受害者、儿童心脏手术、泰坦尼克号、凶杀案数量——再从中引出统计思想。出版社引用的书评称其清晰易读(The Spectator),Nature 则说它会让学生受益。
  • 不用公式也有分量。 本书一直讲到回归、预测算法、自助法、假设检验、序贯检验和贝叶斯推断,Popular Science 评价它在不使用数学公式的情况下提供了扎实的统计入门基础。想看公式的读者可以查阅术语表。
  • 现代而有批判性。 第6章把算法与预测和经典统计放在一起讨论,第12–13章讨论统计如何出错以及如何改进实践。
  • 资料公开。 作者的 GitHub 仓库提供图表的数据和 R 代码(作者自己说明仍未完成),读者可以复现并拓展书中的分析。

局限

  • 不是教科书。 目录中看不到习题,书中也不做计算训练;上统计课的学生仍需要一本教材来学习技术。
  • 节奏不均。 Ardian Gill 在 Contingencies(2020 年 1/2 月号)的书评中认为关于概率解释的讨论冗长乏味,并指出有些处理——例如对某个数据集不使用标准差——没有给出解释;作者本人也提醒第9章可能是最难的一章。
  • 正文有误。 Gill 发现描述泰坦尼克号分类树的文字中有一处说反了,作者的在线勘误也列出了精装本和平装本的更正,包括术语表中的相关系数公式。读者应查看勘误页面。
  • 英国案例。 许多案例来自英国的医疗、犯罪和公共生活,其他地区的读者可能对部分背景感到陌生。

在课程中的定位

本书是本课程进入统计思维的入口,适合在第一门统计课之前或同时阅读。Barbara Illowsky 和 Susan Dean 的 Introductory Statistics(OpenStax)是自然的搭档:这本免费教材通过例题和练习讲授数据概括、置信区间、假设检验和回归的计算,而 Spiegelhalter 则解释它们为何重要、又如何误导人。Blitzstein 和 Hwang 的 Introduction to Probability 以完整的严谨性和大量习题展开第8–9章中的概率内容。

继续学习数理统计的学生会在 Larsen 和 Marx 的 An Introduction to Mathematical Statistics and Its Applications、Mavrakakis 和 Penzer 的 Probability and Statistical Inference 以及 Casella 和 Berger 的 Statistical Inference 中看到第7–11章思想的形式化。课程中更专门的书,如 Williams 的 Probability with Martingales 和 Mitzenmacher 与 Upfal 的 Probability and Computing,则远远超出了本书的范围。

如何使用本书

本书适合即将开始使用数据的专业学习(理科、医学、社会科学或经济学)的学生,以及希望判断统计说法的普通读者。具备中学算术即可。

建议按顺序阅读:各章从描述数据(第1–3章),经过因果、模型和算法(第4–6章),一直到不确定性、概率和推断(第7–11章),最后几章依赖前面的全部内容。第9章和第10章要慢慢读。已经在上统计课的读者,可以把第7–11章当作课上所学方法的概念性解说。

想更进一步,可以从作者的 GitHub 仓库下载数据和 R 代码,复现几张图,例如高尔顿的身高数据或泰坦尼克号分类树,并在阅读时对照勘误。每读完一章,找一篇使用同类统计数据的新闻报道,用这一章教给你的问题去审视它。