01 / 导读
导读
引用
Spiegelhalter, D. (2020). The Art of Statistics: Learning from Data. Pelican (Penguin Books).
章节概要
本书包括引言、十四章、术语表(书中为数不多的公式都集中在这里)、注释和索引;Pelican 平装本开本较小,约 450 页。每章都围绕真实的问题和数据组织,书评着重指出本书不依赖数学公式来讲授统计推理。作者维护着一个公开的 GitHub 仓库,提供书中图表的数据和 R 代码以及勘误。
引言
本书从家庭医生哈罗德·希普曼谋杀大量病人的案件讲起,展示受害者年龄和死亡时间的简单图表如何揭示其中的模式。随后说明本书的目标:通过各种问题——从乳腺癌手术后不同疗法的益处,到老年男性的耳朵为什么大——讲解如何从数据中学习。
第1章:Getting Things in Proportion: Categorical Data and Percentages(正确看待比例——分类数据与百分比)
本章利用儿童心脏手术的存活数据,说明比例如何呈现、框架效应如何改变其效果:95% 的存活率听起来比 5% 的死亡率更好,而绝对数字可能比百分比更令人担忧。比值(odds)也作为表达风险的另一种方式出现。
第2章:Summarizing and Communicating Numbers. Lots of Numbers(概括与传达数字——大量的数字)
用估计罐中软糖数量的例子和一项关于自报一生性伴侣数量的调查,讲解平均数(均值、中位数和众数)以及离散程度的度量。本章还介绍从条形散点图到箱线图等数据展示方式,以及相关和随时间变化的趋势,例如人口增长。
第3章:Why Are We Looking at Data Anyway? Populations and Measurement(我们究竟为什么要看数据?——总体与测量)
讨论从手头数据走向想要了解的总体这一步,以及其间出现的测量和抽样问题;出生体重数据是例子之一。
第4章:What Causes What?(什么导致了什么?)
用虚假相关和误导性的新闻标题说明为什么相关不等于因果。本章解释队列研究和病例对照研究等研究设计如何设法接近因果,并通过剑桥大学的录取率介绍辛普森悖论。
第5章:Modelling Relationships Using Regression(用回归建模关系)
回归从弗朗西斯·高尔顿关于父子身高的数据讲起——“向均值回归”的概念正源于此——再扩展到对儿童心脏手术数据的逻辑斯蒂回归。
第6章:Algorithms, Analytics and Prediction(算法、分析与预测)
以泰坦尼克号上的生还情况为贯穿全章的例子,讨论预测和分类:分类树以及过拟合的危险。关于算法面临的挑战的一节列出了缺乏稳健性、隐性偏差等警示信号。
第7章:How Sure Can We Be About What Is Going On? Estimates and Intervals(我们对正在发生的事能有多大把握?——估计与区间)
讨论估计中的不确定性:误差范围、通过对数据重新抽样来观察估计值如何变化的自助法(bootstrap),以及平均数趋向正态分布的倾向。
第8章:Probability – the Language of Uncertainty and Variability(概率——不确定性与变异的语言)
通过德·梅雷骑士的骰子问题和模拟引入概率。本章讨论泊松分布(应用于凶杀案数量)、检察官谬误,以及关于概率含义的不同解释。
第9章:Putting Probability and Statistics Together(把概率与统计结合起来)
这一章把全书前后两部分连接起来,一位书评人指出,作者提醒读者这可能是最难的一章。它区分对未来事件的不确定性和对已确定但未知的事实的不确定性,并利用概率模型得出置信区间;用于比较机构的漏斗图也是其中的例子。
第10章:Answering Questions and Claiming Discoveries(回答问题与宣称发现)
讨论假设检验:原假设与统计显著性、置换检验、卡方拟合优度检验(检验凶杀案是否服从泊松分布)以及序贯检验,最后用来回答希普曼能否更早被发现的问题。
第11章:Learning from Experience the Bayesian Way(用贝叶斯方式从经验中学习)
介绍根据证据更新概率的贝叶斯方法,作为第10章检验框架之外的另一种选择。
第12–14章:How Things Go Wrong; How We Can Do Statistics Better; In Conclusion(哪里会出错;怎样把统计做得更好;结语)
最后几章转向统计如何出错,包括研究及其传播中的可疑做法,随后讨论能够改进统计的生产、传播和评判的做法,并以简短的总结收尾。
核心概念
引言–第3章:描述数据
- 框架效应:同一个比例可以用正面或负面的方式呈现,从而改变人们的感受。
- 集中趋势与离散程度的度量:均值、中位数、众数和极差,以及各自适用的场合。
- 总体与样本:所收集的数据与其应当代表的群体之间的区别。
第4–6章:因果、模型与算法
- 相关与因果:为什么仅有关联并不能说明一事导致另一事。
- 辛普森悖论:在每个子群中都成立的趋势,在合并后却发生逆转。
- 向均值回归:极端测量值之后往往出现不那么极端的值。
- 过拟合:预测模型与数据贴合得过紧,以致对新情况预测不佳。
第7–9章:不确定性与概率
- 误差范围与置信区间:表示估计值可能偏离真值多远的范围。
- 自助法:对观测数据重新抽样,以观察估计值的变动幅度。
- 检察官谬误:把“无辜时出现该证据的概率”与“有该证据时无辜的概率”混为一谈。
第10–14章:检验、贝叶斯与良好实践
- 原假设与统计显著性:没有效应这一默认假设,以及判断数据是否出人意料到不能再相信它。
- 序贯检验:在数据陆续到来时进行监测,同时控制误报风险。
- 贝叶斯更新:根据新证据修正概率。
- 可疑做法:数据的分析、解释和传播可能误导人的种种方式。
评析
优点
- 问题先行。 每章都从真实问题出发——希普曼的受害者、儿童心脏手术、泰坦尼克号、凶杀案数量——再从中引出统计思想。出版社引用的书评称其清晰易读(The Spectator),Nature 则说它会让学生受益。
- 不用公式也有分量。 本书一直讲到回归、预测算法、自助法、假设检验、序贯检验和贝叶斯推断,Popular Science 评价它在不使用数学公式的情况下提供了扎实的统计入门基础。想看公式的读者可以查阅术语表。
- 现代而有批判性。 第6章把算法与预测和经典统计放在一起讨论,第12–13章讨论统计如何出错以及如何改进实践。
- 资料公开。 作者的 GitHub 仓库提供图表的数据和 R 代码(作者自己说明仍未完成),读者可以复现并拓展书中的分析。
局限
- 不是教科书。 目录中看不到习题,书中也不做计算训练;上统计课的学生仍需要一本教材来学习技术。
- 节奏不均。 Ardian Gill 在 Contingencies(2020 年 1/2 月号)的书评中认为关于概率解释的讨论冗长乏味,并指出有些处理——例如对某个数据集不使用标准差——没有给出解释;作者本人也提醒第9章可能是最难的一章。
- 正文有误。 Gill 发现描述泰坦尼克号分类树的文字中有一处说反了,作者的在线勘误也列出了精装本和平装本的更正,包括术语表中的相关系数公式。读者应查看勘误页面。
- 英国案例。 许多案例来自英国的医疗、犯罪和公共生活,其他地区的读者可能对部分背景感到陌生。
在课程中的定位
本书是本课程进入统计思维的入口,适合在第一门统计课之前或同时阅读。Barbara Illowsky 和 Susan Dean 的 Introductory Statistics(OpenStax)是自然的搭档:这本免费教材通过例题和练习讲授数据概括、置信区间、假设检验和回归的计算,而 Spiegelhalter 则解释它们为何重要、又如何误导人。Blitzstein 和 Hwang 的 Introduction to Probability 以完整的严谨性和大量习题展开第8–9章中的概率内容。
继续学习数理统计的学生会在 Larsen 和 Marx 的 An Introduction to Mathematical Statistics and Its Applications、Mavrakakis 和 Penzer 的 Probability and Statistical Inference 以及 Casella 和 Berger 的 Statistical Inference 中看到第7–11章思想的形式化。课程中更专门的书,如 Williams 的 Probability with Martingales 和 Mitzenmacher 与 Upfal 的 Probability and Computing,则远远超出了本书的范围。
如何使用本书
本书适合即将开始使用数据的专业学习(理科、医学、社会科学或经济学)的学生,以及希望判断统计说法的普通读者。具备中学算术即可。
建议按顺序阅读:各章从描述数据(第1–3章),经过因果、模型和算法(第4–6章),一直到不确定性、概率和推断(第7–11章),最后几章依赖前面的全部内容。第9章和第10章要慢慢读。已经在上统计课的读者,可以把第7–11章当作课上所学方法的概念性解说。
想更进一步,可以从作者的 GitHub 仓库下载数据和 R 代码,复现几张图,例如高尔顿的身高数据或泰坦尼克号分类树,并在阅读时对照勘误。每读完一章,找一篇使用同类统计数据的新闻报道,用这一章教给你的问题去审视它。
