Introduction to Probability（概率论导论）

引用

Blitzstein, J. K., & Hwang, J. (2019). Introduction to Probability (2nd ed.). Chapman & Hall/CRC.

章节概要

全书共13章和三个附录，634页。据目录，每一章都以回顾、一节用R完成相关模拟与计算的内容，以及习题结束。出版社说，作者用"故事"来揭示基本分布之间的联系，用"条件化"把复杂问题化为易于处理的小块。本书源自哈佛大学Stat 110课程的讲义。

第1章：概率与计数

从为什么要学概率讲起，然后是样本空间与"卵石世界"（Pebble World）、概率的朴素定义、计数方法、故事证明，以及概率的非朴素定义。

第2章：条件概率

从条件化思考的重要性出发，建立定义与直觉、贝叶斯公式与全概率公式、条件概率也是概率、事件的独立性以及贝叶斯公式的一致性。随后把条件化作为解题工具来讨论，最后讲陷阱与悖论。

第3章：随机变量及其分布

引入随机变量、分布与概率质量函数，以及伯努利、二项、超几何和离散均匀这几个分布族。接着是累积分布函数、随机变量的函数、随机变量的独立性，以及二项与超几何之间的联系。

第4章：期望

讲期望的定义及其线性性、几何分布与负二项分布、示性随机变量与基本桥梁、无意识统计学家法则（LOTUS）、方差、泊松分布及其与二项分布的联系。带星号的一节用概率与期望来证明存在性。

第5章：连续型随机变量

展开概率密度函数以及均匀、正态和指数分布，包括均匀分布的普适性、对泊松过程的初步介绍，以及独立同分布连续型随机变量的对称性。

第6章：矩

讨论分布的概括、矩的解释、样本矩、矩母函数、用矩母函数生成矩，以及通过它求独立随机变量之和。带星号的一节讲概率母函数。

第7章：联合分布

讲联合分布、边缘分布与条件分布、二元形式的LOTUS、协方差与相关，以及多项分布和多元正态分布。

第8章：变换

讲变量代换、卷积、Beta分布与Gamma分布及其联系，以及顺序统计量。

第9章：条件期望

讲给定事件的条件期望和给定随机变量的条件期望、其性质、条件方差以及"亚当与夏娃"的例子。带星号的一节给出几何解释。

第10章：不等式与极限定理

介绍不等式、大数定律、中心极限定理，以及卡方分布和学生t分布。

第11–13章：马尔可夫链；马尔可夫链蒙特卡洛；泊松过程

第11章讲马尔可夫性与转移矩阵、状态分类、平稳分布和可逆性。第12章以Metropolis–Hastings算法为中心。第13章讲一维泊松过程、条件化、叠加与稀疏化，以及多维泊松过程。

附录

附录A"数学"回顾集合、函数、矩阵、差分方程和微分方程、偏导数、多重积分和求和，最后是关于模式识别以及常识与检查答案的两节。附录B介绍R（向量、矩阵、抽样与模拟、绘图、编程、汇总统计量和分布）。附录C是分布表。

核心概念

第1–2章：计数与条件化

• 样本空间与朴素定义：概率是等可能结果之比，计数方法使它变得可用。
• 故事证明：把等式两边解释为对同一事物的计数，由此证明等式的论证。
• 贝叶斯公式与全概率公式：更新信念和把问题分成几种情形的两个基本工具。

第3–6章：随机变量、期望与矩

• 有名字的分布：伯努利、二项、超几何、几何、负二项、泊松、均匀、正态和指数分布，每一个都与它所刻画的情境相联系。
• 期望的线性性与示性随机变量：把简单的部分加起来计算均值，不需要独立性。
• 矩母函数：编码所有矩，并把独立变量之和变成乘积的函数。

第7–10章：联合分布、变换、条件期望、极限

• 协方差与相关：变量之间线性相依程度的度量。
• 变量代换与卷积：求随机变量的函数或和的分布。
• 条件期望：给定信息下的期望，被当作随机变量来处理。
• 大数定律与中心极限定理：平均值和总和的长期行为。

第11–13章：马尔可夫链、MCMC与泊松过程

• 平稳分布：马尔可夫链保持不变的分布。
• Metropolis–Hastings算法：通过构造马尔可夫链来从目标分布中抽样的方法。
• 泊松过程：时间或空间中的随机点，其个数相互独立并服从泊松分布。

评析

优点

• 以故事为主线的方法。 出版社介绍说，本书建立在联系基本分布的故事和把问题分解为小块的条件化之上。目录反映了这一点：第1章的"故事证明"、第2章的"作为解题工具的条件化"、第9章的"亚当与夏娃的例子"。
• 与正文融为一体的模拟。 每章以一节R内容结束，附录B讲授所需的R，因此数值实验是学习的一部分，而不是附加品。
• 练习与支持。 每章都以习题结束，出版社列出了部分习题的解答、额外的练习题、含复习材料和样卷的讲义、动画与交互式可视化，以及讲课视频的链接，均在Joseph Blitzstein的网站（stat110.net）上。
• 入门教材中的现代应用。 出版社提到从巧合与悖论到谷歌PageRank和MCMC的应用，关于马尔可夫链、Metropolis–Hastings和泊松过程的最后几章，把本书扩展到概率的基础之外。

局限

• 没有测度论。 目录中看不到测度论的内容。要走向研究生水平概率论的读者需要另找一本基于测度论的教材。
• 统计推断不在范围内。 本书讲概率，最接近统计的是卡方分布和学生t分布；估计与假设检验需要配套的教材。
• 对一门课来说很长。 634页，一门课必须选择章节；关于马尔可夫链、MCMC和泊松过程的后几章是留给另一门课的自然候选。
• 完整的解答有限。 出版社列出的只有部分习题的解答；完整的解答手册只提供给教师。

在课程中的定位

在本站的概率与统计书籍中，Blitzstein和Hwang是基于微积分的、讲概率本身的第一门课。Introductory Statistics 2e 是只需要代数的免费一学期统计学教材，是没有学过微积分的学生合适的起点；Spiegelhalter的 The Art of Statistics 则是一本关于统计思维的非技术性读物。

本书之后是建立在概率之上的书。Larsen和Marx的 An Introduction to Mathematical Statistics and Its Applications 与Casella和Berger的 Statistical Inference 走向估计和假设检验；Mavrakakis和Penzer的 Probability and Statistical Inference 是对两者更严格的处理；Mitzenmacher和Upfal的 Probability and Computing 把概率应用于算法；Williams的 Probability with Martingales 则在测度论的基础上重建这门学科。

如何使用本书

本书写给初次接触概率论的本科读者。本站列出的先修条件是单变量和多变量微积分，后面的章节有一些线性代数会有帮助，附录A提供对所用数学的复习。

一个实用的计划如下：

• 核心： 第1–5章（计数、条件化、随机变量、期望、连续分布），然后是第7–10章（联合分布、变换、条件期望、极限定理）。第6章的矩可以与第7章并行阅读。
• 按兴趣选读： 带星号的小节，以及讲马尔可夫链、MCMC和泊松过程的第11–13章。
• 练习： 完成每章末尾的R部分，对每个主题都做习题，并利用stat110.net上的补充材料获取更多题目和讲课视频。