The Art of Statistics: Learning from Data（統計の技法：データから学ぶ）

引用

Spiegelhalter, D. (2020). The Art of Statistics: Learning from Data. Pelican (Penguin Books).

章の要約

本書は序論、14の章、用語集（わずかな数式はここにまとめられている）、注、索引からなり、Pelican のペーパーバック版は小さな判型で約450ページある。各章は実際の問いとデータを軸に組み立てられており、書評は本書が数式に頼らずに統計的推論を教えている点を強調している。著者は公開の GitHub リポジトリで、本書の図表のためのデータと R コード、そして正誤表を提供している。

序論

本書は、多くの患者を殺害した家庭医ハロルド・シップマンの事件から始まり、犠牲者の年齢と死亡時刻を示す簡単なグラフがそのパターンをどのように明らかにするかを示す。そして、乳がん手術後の治療の効果から、なぜ高齢男性の耳が大きいのかまで、幅広い問題を通じてデータから学ぶ方法を説明するという本書の目的を述べる。

第1章：Getting Things in Proportion: Categorical Data and Percentages（割合を正しくとらえる――カテゴリーデータと百分率）

子どもの心臓手術の生存データを使って、割合がどう示されるか、そして枠組み（フレーミング）がその印象をどう変えるかを示す。95%の生存率は5%の死亡率よりよく聞こえ、件数は百分率より不安をかき立てることがある。リスクを表すもう1つの方法としてオッズも登場する。

第2章：Summarizing and Communicating Numbers. Lots of Numbers（数を要約し伝える――たくさんの数）

平均（平均値、中央値、最頻値）とばらつきの尺度を、瓶の中のジェリービーンズの数の推測や、生涯の性的パートナー数の自己申告を調べた調査で説明する。ストリップチャートから箱ひげ図までのデータの表示法、相関、人口増加のような時間的な傾向も扱う。

第3章：Why Are We Looking at Data Anyway? Populations and Measurement（そもそもなぜデータを見るのか――母集団と測定）

手元のデータから知りたい母集団への一歩と、そのあいだに入り込む測定と標本抽出の問題を扱う。出生体重のデータが例の1つである。

第4章：What Causes What?（何が何の原因なのか）

相関が因果を意味しない理由を、見せかけの相関や誤解を招く新聞の見出しで示す。コホート研究や症例対照研究のような研究デザインがどのように因果に近づこうとするかを説明し、ケンブリッジ大学の入学許可率を例にシンプソンのパラドックスを紹介する。

第5章：Modelling Relationships Using Regression（回帰による関係のモデル化）

回帰を、平均への回帰という考えを生んだフランシス・ゴルトンの父と息子の身長データから始め、子どもの心臓手術データに対するロジスティック回帰へと広げる。

第6章：Algorithms, Analytics and Prediction（アルゴリズム、アナリティクス、予測）

タイタニック号での生存を一貫した例として、予測と分類を扱う。分類木と過剰適合の危険を論じ、アルゴリズムの課題についての節では、頑健性の欠如や暗黙のバイアスといった警告のサインを挙げる。

第7章：How Sure Can We Be About What Is Going On? Estimates and Intervals（何が起きているかにどこまで確信できるか――推定と区間）

推定の不確かさを扱う。誤差の幅、データを再標本化して推定値のばらつきを見るブートストラップ、そして平均が正規分布に近づく傾向である。

第8章：Probability – the Language of Uncertainty and Variability（確率――不確かさとばらつきの言語）

確率をシュヴァリエ・ド・メレのさいころの問題とシミュレーションを通じて導入する。殺人事件の件数に当てはめたポアソン分布、検察官の誤謬、確率が何を意味するかについてのさまざまな解釈を扱う。

第9章：Putting Probability and Statistics Together（確率と統計を組み合わせる）

本書の前半と後半をつなぐ章で、ある書評者によれば、著者自身がおそらく最も難しい章だと注意を促している。これから起こる出来事についての不確かさと、決まってはいるが未知である事実についての不確かさを区別し、確率モデルを用いて信頼区間を導く。施設を比較するためのファンネルプロットも例に含まれる。

第10章：Answering Questions and Claiming Discoveries（問いに答え、発見を主張する）

仮説検定を扱う。帰無仮説と統計的有意性、並べ替え検定、カイ二乗適合度検定（殺人事件がポアソン分布に従うかどうかの検討）、逐次検定であり、最後にシップマンをもっと早く発見できたかという問いに適用される。

第11章：Learning from Experience the Bayesian Way（ベイズ流に経験から学ぶ）

証拠に照らして確率を更新するベイズ的アプローチを、第10章の検定の枠組みに代わるものとして扱う。

第12–14章：How Things Go Wrong; How We Can Do Statistics Better; In Conclusion（どこで間違うのか／統計をよりよく行うには／結び）

最後の章では、研究とその伝え方における問題のある慣行を含め、統計がどのように誤るかに目を向け、続いて統計の作成、伝達、評価を改善する実践を論じ、短いまとめで締めくくる。

主要概念

序論–第3章：データを記述する

• フレーミング：同じ割合を肯定的にも否定的にも示せ、それによって受け止め方が変わること。
• 中心とばらつきの尺度：平均値、中央値、最頻値、範囲と、それぞれが適切な場面。
• 母集団と標本：集めたデータと、それが代表するはずの集団との区別。

第4–6章：因果、モデル、アルゴリズム

• 相関と因果：関連があるだけでは一方が他方の原因であるとは示せない理由。
• シンプソンのパラドックス：すべての部分集団で成り立つ傾向が、集団を合わせると逆転すること。
• 平均への回帰：極端な測定値のあとには、それほど極端でない値が続きやすい傾向。
• 過剰適合：予測モデルをデータに合わせすぎて、新しい事例をうまく予測できなくなること。

第7–9章：不確かさと確率

• 誤差の幅と信頼区間：推定値が真の値からどれだけ離れている可能性があるかを表す範囲。
• ブートストラップ：観測データを再標本化して、推定値がどれだけばらつくかを見ること。
• 検察官の誤謬：無実であるときに証拠が得られる確率と、証拠が与えられたときに無実である確率とを取り違えること。

第10–14章：検定、ベイズ、よい実践

• 帰無仮説と統計的有意性：効果がないという既定の仮定と、データがその仮定を信じられないほど意外かどうかの判断。
• 逐次検定：データが届くたびに監視しつつ、誤った警報のリスクを抑えること。
• ベイズ的更新：新しい証拠に照らして確率を改めること。
• 問題のある慣行：データの分析、解釈、伝達が人を誤らせうるやり方。

批判的分析

長所

• まず問いから。 各章は、シップマンの犠牲者、子どもの心臓手術、タイタニック号、殺人事件の件数といった実際の問題から始まり、そこから統計的な考え方を引き出す。出版社が引用する書評は、本書を明晰で読みやすいと評し（The Spectator）、Nature は学生の役に立つだろうと述べている。
• 数式なしで中身のある内容。 本書は回帰、予測アルゴリズム、ブートストラップ、仮説検定、逐次検定、ベイズ推論にまで達しており、Popular Science は数式を使わずに統計のしっかりとした入門的基礎を与える本だと評している。数式を知りたい読者のために、用語集に数式がまとめられている。
• 現代的で批判的。 第6章はアルゴリズムと予測を古典的な統計と並べて扱い、第12–13章は統計がどこで誤るか、実践をどう改善できるかを論じる。
• 公開された資料。 著者の GitHub リポジトリは図表のためのデータと R コードを提供しており（著者自身はまだ完成していないと述べている）、読者は分析を再現し発展させることができる。

短所

• 教科書ではない。 目次には演習が見当たらず、計算の反復練習もない。統計学の授業を受ける学生には、技法を学ぶための教科書が別に必要である。
• ペースにむらがある。 Ardian Gill は Contingencies 誌（2020年1/2月号）の書評で、確率の解釈についての議論を退屈だと感じ、あるデータセットに標準偏差を使わないといった判断が説明なしに述べられていると指摘した。著者自身も第9章をおそらく最も難しい章だとしている。
• 本文の誤り。 Gill はタイタニック号の分類木を説明する本文に逆転した記述を見つけており、著者のオンライン正誤表は、用語集の相関係数の公式を含め、ハードカバー版とペーパーバック版の両方について訂正を挙げている。読者は正誤表を確認するとよい。
• 英国の事例。 多くの事例が英国の医療、犯罪、公共生活からとられており、英国以外の読者には文脈になじみのないものもあるだろう。

コースにおける位置づけ

本書はこのコースにおける統計的思考への入口であり、最初の統計学の授業の前に、あるいは並行して読むのに向いている。Barbara Illowsky と Susan Dean の Introductory Statistics（OpenStax）は自然な相棒である。データの要約、信頼区間、仮説検定、回帰の計算を例題と練習問題で教える無料の教科書であり、Spiegelhalter はそれらがなぜ重要で、どのように人を誤らせるかを説明する。Blitzstein と Hwang の Introduction to Probability は、第8–9章の確率を完全な厳密さと多くの問題とともに展開する。

数理統計学に進む学生は、第7–11章の考え方が Larsen と Marx の An Introduction to Mathematical Statistics and Its Applications、Mavrakakis と Penzer の Probability and Statistical Inference、Casella と Berger の Statistical Inference で形式化されているのを目にするだろう。Williams の Probability with Martingales や Mitzenmacher と Upfal の Probability and Computing のような、コース内のより専門的な本は、本書の範囲をはるかに超えている。

本書の使い方

本書は、自然科学、医学、社会科学、経済学など、データを使う学位課程を始める人や、統計的な主張を判断したい一般読者に向いている。学校で習う算数で十分である。

順に読むとよい。各章は、データの記述（第1–3章）から、因果、モデル、アルゴリズム（第4–6章）を経て、不確かさ、確率、推論（第7–11章）へと積み上がり、最後の章はそのすべてに依拠している。第9章と第10章はゆっくり読むこと。すでに統計学の授業を受けている読者は、第7–11章をそこで教わる手法についての概念的な解説として使える。

さらに進むには、著者の GitHub リポジトリからデータと R コードをダウンロードし、たとえばゴルトンの身長データやタイタニック号の分類木など、いくつかの図を再現してみるとよい。読みながら正誤表も確認すること。各章のあとで、同じ種類の統計を使ったニュース記事を探し、その章が教える問いを投げかけてみるとよい。