Introduction to Probability（確率論入門）

引用

Blitzstein, J. K., & Hwang, J. (2019). Introduction to Probability (2nd ed.). Chapman & Hall/CRC.

章の要約

本書は13の章と3つの付録からなり、634ページである。目次によれば、すべての章は、まとめ、関連するシミュレーションと計算をRで行う節、そして演習で終わる。出版社によれば、著者たちは、基本的な分布のあいだのつながりを明らかにするために「物語」を、複雑な問題を扱いやすい部分に分けるために「条件づけ」を用いている。本書はハーバード大学のStat 110の講義から生まれた。

第1章：確率と数え上げ

なぜ確率を学ぶのかから始め、標本空間と「小石の世界（Pebble World）」、確率の素朴な定義、数え上げの方法、物語による証明、そして確率の非素朴な定義へと進む。

第2章：条件つき確率

条件つきで考えることの大切さから出発し、定義と直観、ベイズの定理と全確率の公式、条件つき確率もまた確率であること、事象の独立性、ベイズの定理の整合性を築く。そのあと、問題解決の道具としての条件づけを扱い、落とし穴とパラドクスで終わる。

第3章：確率変数とその分布

確率変数、分布と確率質量関数、ベルヌーイ分布、二項分布、超幾何分布、離散一様分布を導入する。続いて、累積分布関数、確率変数の関数、確率変数の独立性、二項分布と超幾何分布のつながりが扱われる。

第4章：期待値

期待値の定義とその線形性、幾何分布と負の二項分布、指示確率変数と基本的な橋渡し、無意識の統計学者の法則（LOTUS）、分散、ポアソン分布とその二項分布とのつながりを扱う。アスタリスク付きの節は、確率と期待値を使って存在を証明する。

第5章：連続型確率変数

確率密度関数と、一様分布、正規分布、指数分布を展開する。一様分布の普遍性、ポアソン過程の最初の紹介、独立同分布の連続型確率変数の対称性も含まれる。

第6章：積率

分布の要約、積率の解釈、標本積率、積率母関数、それを使った積率の生成と独立な確率変数の和の求め方を論じる。アスタリスク付きの節は確率母関数を扱う。

第7章：同時分布

同時分布、周辺分布、条件つき分布、2変数版のLOTUS、共分散と相関、多項分布と多変量正規分布を扱う。

第8章：変換

変数変換、畳み込み、ベータ分布とガンマ分布およびそれらのつながり、順序統計量を扱う。

第9章：条件つき期待値

事象で条件づけた条件つき期待値と確率変数で条件づけた条件つき期待値、その性質、条件つき分散、「アダムとイヴ」の例を扱う。アスタリスク付きの節は幾何学的な解釈を与える。

第10章：不等式と極限定理

不等式、大数の法則、中心極限定理、カイ2乗分布とスチューデントのt分布を提示する。

第11–13章：マルコフ連鎖、マルコフ連鎖モンテカルロ法、ポアソン過程

第11章は、マルコフ性と推移行列、状態の分類、定常分布、可逆性を扱う。第12章はメトロポリス–ヘイスティングス法を軸とする。第13章は、1次元のポアソン過程、条件づけ、重ね合わせ、間引き、そして多次元のポアソン過程を扱う。

付録

付録A「数学」は、集合、関数、行列、差分方程式と微分方程式、偏微分、重積分、和を復習し、パターン認識の節と、常識と答えの確認の節で終わる。付録BはR（ベクトル、行列、標本抽出とシミュレーション、作図、プログラミング、要約統計量、分布）を紹介する。付録Cは分布表である。

主要概念

第1–2章：数え上げと条件づけ

• 標本空間と素朴な定義：同様に確からしい結果の比としての確率で、数え上げの方法によって使えるものになる。
• 物語による証明：等式の両辺を同じものの数え上げと解釈することで等式を証明する議論。
• ベイズの定理と全確率の公式：信念を更新する道具と、問題を場合分けする道具という2つの基本的な道具。

第3–6章：確率変数、期待値、積率

• 名前のついた分布：ベルヌーイ、二項、超幾何、幾何、負の二項、ポアソン、一様、正規、指数の各分布で、それぞれが表す状況と結びつけられる。
• 期待値の線形性と指示確率変数：独立性を必要とせずに、単純な部分を足し合わせて平均を計算すること。
• 積率母関数：すべての積率を符号化し、独立な確率変数の和を積に変える関数。

第7–10章：同時分布、変換、条件つき期待値、極限

• 共分散と相関：変数間の線形な従属性の尺度。
• 変数変換と畳み込み：確率変数の関数や和の分布を求めること。
• 条件つき期待値：情報を与えられたもとでの期待値を、確率変数として扱ったもの。
• 大数の法則と中心極限定理：平均や和の長期的な振る舞い。

第11–13章：マルコフ連鎖、MCMC、ポアソン過程

• 定常分布：マルコフ連鎖が変えずに保つ分布。
• メトロポリス–ヘイスティングス法：マルコフ連鎖を構成することで、目標とする分布から標本抽出する方法。
• ポアソン過程：時間や空間上のランダムな点で、数が独立でポアソン分布に従うもの。

批判的分析

長所

• 物語を軸にした方法。 出版社は、本書が基本的な分布をつなぐ物語と、問題を部分に分ける条件づけの上に築かれていると説明している。目次もそれを反映している。第1章の「物語による証明」、第2章の「問題解決の道具としての条件づけ」、第9章の「アダムとイヴの例」である。
• 本文と一体のシミュレーション。 各章はRの節で終わり、付録Bが必要なRを教えるので、数値実験は付け足しではなく学習の一部になっている。
• 演習と支援。 すべての章が演習で終わり、出版社は、一部の演習の解答、追加の練習問題、復習資料と試験例を含むハンドアウト、アニメーションとインタラクティブな可視化、講義動画へのリンクが、Joseph Blitzstein のウェブサイト（stat110.net）にあると挙げている。
• 入門書でありながら現代的な応用を含む。 出版社は、偶然の一致やパラドクスからGoogleのPageRankやMCMCまでの応用を挙げており、マルコフ連鎖、メトロポリス–ヘイスティングス法、ポアソン過程についての終盤の章は、本書を確率論の基本を超えて広げている。

短所

• 測度論はない。 目次には測度論的な内容は見られない。大学院レベルの確率論へ進む読者には、測度論に基づく別の教科書が必要になる。
• 統計的推測は範囲外。 本書は確率を扱い、統計に最も近づくのはカイ2乗分布とスチューデントのt分布である。推定や仮説検定には副読本が必要である。
• 1つの課程には長い。 634ページなので、課程は章を選ばなければならない。マルコフ連鎖、MCMC、ポアソン過程の後半の章は、別の課程に回す自然な候補である。
• 完全な解答は限られる。 出版社が挙げるのは一部の演習の解答だけで、完全な解答集は教員に限られる。

コースにおける位置づけ

このサイトの確率・統計の本のなかで、Blitzstein と Hwang は、微積分を用いる、確率そのものの最初の授業向けの1冊である。Introductory Statistics 2e は、代数だけを前提とする無料の1学期用の統計の教科書で、微積分を学んでいない学生にとっては適切な出発点となり、Spiegelhalter の The Art of Statistics は統計的思考についての専門的でない本である。

本書の次に来るのは、確率の上に築かれる本である。Larsen と Marx の An Introduction to Mathematical Statistics and Its Applications と Casella と Berger の Statistical Inference は推定と仮説検定へ進む。Mavrakakis と Penzer の Probability and Statistical Inference はその両方のより厳密な扱いであり、Mitzenmacher と Upfal の Probability and Computing は確率をアルゴリズムに応用し、Williams の Probability with Martingales はこの主題を測度論的な基礎の上に築き直す。

本書の使い方

本書は、初めて確率論に触れる学部生向けに書かれている。当サイトは前提条件として、1変数と多変数の微積分を挙げ、後半の章では線形代数が少し役立つとしており、付録Aは使われる数学の復習を与えている。

実用的な計画は次のとおりである。

• 中核： 第1–5章（数え上げ、条件づけ、確率変数、期待値、連続分布）、続いて第7–10章（同時分布、変換、条件つき期待値、極限定理）。第6章の積率は第7章と並行して読んでもよい。
• 関心に応じて任意： アスタリスク付きの節と、マルコフ連鎖、MCMC、ポアソン過程の第11–13章。
• 演習： 各章末のRの節に取り組み、すべての話題で演習を解き、追加の問題と講義動画にはstat110.netの補助資料を使う。