Introduction to Probability（機率導論）

引用

Blitzstein, J. K., & Hwang, J. (2019). Introduction to Probability (2nd ed.). Chapman & Hall/CRC.

章節概要

全書共13章和三個附錄，634頁。據目錄，每一章都以回顧、一節用R完成相關模擬與計算的內容，以及習題結束。出版社說，作者用"故事"來揭示基本分佈之間的聯繫，用"條件化"把複雜問題化為易於處理的小塊。本書源自哈佛大學Stat 110課程的講義。

第1章：機率與計數

從為什麼要學機率講起，然後是樣本空間與"卵石世界"（Pebble World）、機率的樸素定義、計數方法、故事證明，以及機率的非樸素定義。

第2章：條件機率

從條件化思考的重要性出發，建立定義與直覺、貝氏公式與全機率公式、條件機率也是機率、事件的獨立性以及貝氏公式的一致性。隨後把條件化作為解題工具來討論，最後講陷阱與悖論。

第3章：隨機變數及其分佈

引入隨機變數、分佈與機率質量函數，以及伯努利、二項、超幾何和離散均勻這幾個分佈族。接著是累積分佈函數、隨機變數的函數、隨機變數的獨立性，以及二項與超幾何之間的聯繫。

第4章：期望值

講期望值的定義及其線性性、幾何分佈與負二項分佈、指示隨機變數與基本橋梁、無意識統計學家法則（LOTUS）、變異數、卜瓦松分佈及其與二項分佈的聯繫。帶星號的一節用機率與期望值來證明存在性。

第5章：連續型隨機變數

展開機率密度函數以及均勻、常態和指數分佈，包括均勻分佈的普適性、對卜瓦松過程的初步介紹，以及獨立同分布連續型隨機變數的對稱性。

第6章：動差

討論分佈的概括、動差的解釋、樣本動差、動差生成函數、用動差生成函數生成動差，以及通過它求獨立隨機變數之和。帶星號的一節講機率母函數。

第7章：聯合分佈

講聯合分佈、邊緣分佈與條件分佈、二元形式的LOTUS、共變異數與相關，以及多項分佈和多元常態分佈。

第8章：變換

講變數代換、卷積、Beta分佈與Gamma分佈及其聯繫，以及順序統計量。

第9章：條件期望值

講給定事件的條件期望值和給定隨機變數的條件期望值、其性質、條件變異數以及"亞當與夏娃"的例子。帶星號的一節給出幾何解釋。

第10章：不等式與極限定理

介紹不等式、大數法則、中央極限定理，以及卡方分佈和學生t分佈。

第11–13章：馬可夫鏈；馬可夫鏈蒙特卡洛；卜瓦松過程

第11章講馬可夫性與轉移矩陣、狀態分類、平穩分佈和可逆性。第12章以Metropolis–Hastings演算法為中心。第13章講一維卜瓦松過程、條件化、疊加與稀疏化，以及多維卜瓦松過程。

附錄

附錄A"數學"回顧集合、函數、矩陣、差分方程和微分方程、偏導數、多重積分和求和，最後是關於模式識別以及常識與檢查答案的兩節。附錄B介紹R（向量、矩陣、抽樣與模擬、繪圖、程式設計、彙總統計量和分佈）。附錄C是分佈表。

核心概念

第1–2章：計數與條件化

• 樣本空間與樸素定義：機率是等可能結果之比，計數方法使它變得可用。
• 故事證明：把等式兩邊解釋為對同一事物的計數，由此證明等式的論證。
• 貝氏公式與全機率公式：更新信念和把問題分成幾種情形的兩個基本工具。

第3–6章：隨機變數、期望值與動差

• 有名字的分佈：伯努利、二項、超幾何、幾何、負二項、卜瓦松、均勻、常態和指數分佈，每一個都與它所刻畫的情境相聯繫。
• 期望值的線性性與指示隨機變數：把簡單的部分加起來計算平均值，不需要獨立性。
• 動差生成函數：編碼所有動差，並把獨立變數之和變成乘積的函數。

第7–10章：聯合分佈、變換、條件期望值、極限

• 共變異數與相關：變數之間線性相依程度的度量。
• 變數代換與卷積：求隨機變數的函數或和的分佈。
• 條件期望值：給定資訊下的期望值，被當作隨機變數來處理。
• 大數法則與中央極限定理：平平均值和總和的長期行為。

第11–13章：馬可夫鏈、MCMC與卜瓦松過程

• 平穩分佈：馬可夫鏈保持不變的分佈。
• Metropolis–Hastings演算法：通過構造馬可夫鏈來從目標分佈中抽樣的方法。
• 卜瓦松過程：時間或空間中的隨機點，其個數相互獨立並服從卜瓦松分佈。

評析

優點

• 以故事為主線的方法。 出版社介紹說，本書建立在聯繫基本分佈的故事和把問題分解為小塊的條件化之上。目錄反映了這一點：第1章的"故事證明"、第2章的"作為解題工具的條件化"、第9章的"亞當與夏娃的例子"。
• 與正文融為一體的模擬。 每章以一節R內容結束，附錄B講授所需的R，因此數值實驗是學習的一部分，而不是附加品。
• 練習與支援。 每章都以習題結束，出版社列出了部分習題的解答、額外的練習題、含複習材料和樣卷的講義、動畫與互動式視覺化，以及講課影片的連結，均在Joseph Blitzstein的網站（stat110.net）上。
• 入門教材中的現代應用。 出版社提到從巧合與悖論到谷歌PageRank和MCMC的應用，關於馬可夫鏈、Metropolis–Hastings和卜瓦松過程的最後幾章，把本書擴充套件到機率的基礎之外。

局限

• 沒有測度論。 目錄中看不到測度論的內容。要走向研究生水平機率論的讀者需要另找一本基於測度論的教材。
• 統計推斷不在範圍內。 本書講機率，最接近統計的是卡方分佈和學生t分佈；估計與假設檢驗需要配套的教材。
• 對一門課來說很長。 634頁，一門課必須選擇章節；關於馬可夫鏈、MCMC和卜瓦松過程的後幾章是留給另一門課的自然候選。
• 完整的解答有限。 出版社列出的只有部分習題的解答；完整的解答手冊只提供給教師。

在課程中的定位

在本站的機率與統計書籍中，Blitzstein和Hwang是基於微積分的、講機率本身的第一門課。Introductory Statistics 2e 是隻需要代數的免費一學期統計學教材，是沒有學過微積分的學生合適的起點；Spiegelhalter的 The Art of Statistics 則是一本關於統計思維的非技術性讀物。

本書之後是建立在機率之上的書。Larsen和Marx的 An Introduction to Mathematical Statistics and Its Applications 與Casella和Berger的 Statistical Inference 走向估計和假設檢驗；Mavrakakis和Penzer的 Probability and Statistical Inference 是對兩者更嚴格的處理；Mitzenmacher和Upfal的 Probability and Computing 把機率應用於演算法；Williams的 Probability with Martingales 則在測度論的基礎上重建這門學科。

如何使用本書

本書寫給初次接觸機率論的本科讀者。本站列出的先修條件是單變數和多變數微積分，後面的章節有一些線性代數會有幫助，附錄A提供對所用數學的複習。

一個實用的計畫如下：

• 核心： 第1–5章（計數、條件化、隨機變數、期望值、連續分佈），然後是第7–10章（聯合分佈、變換、條件期望值、極限定理）。第6章的動差可以與第7章並行閱讀。
• 按興趣選讀： 帶星號的小節，以及講馬可夫鏈、MCMC和卜瓦松過程的第11–13章。
• 練習： 完成每章末尾的R部分，對每個主題都做習題，並利用stat110.net上的補充材料獲取更多題目和講課影片。