Probabilistic Machine Learning: An Introduction（概率机器学习：导论）

引用

Murphy, K. P. (2022). Probabilistic Machine Learning: An Introduction. MIT Press. Free official edition: https://probml.github.io/pml-book/book1.html

章节概要

第1章：引言

引言借用 Mitchell 关于"任务—经验—性能"的表述来定义机器学习，并说明本书的立场：把一切未知量都视为随机变量，因为概率是不确定性下决策的正确基础，也是与其他科学共享的语言。本章概览监督学习（鸢尾花分类、多项式回归、过拟合与泛化）、无监督学习（聚类、潜在因子、自监督学习）、强化学习，以及常用数据集与预处理。结尾的讨论把机器学习与统计学、数据科学和人工智能联系起来，概述全书五个部分，并提醒读者注意"奖励投机"（reward hacking）和对齐问题。

第2–3章：概率：单变量模型；概率：多变量模型

第一部分"基础"从概率讲起。第2章比较频率学派与贝叶斯学派对概率的解释，然后介绍随机变量、贝叶斯法则、伯努利分布、二项分布、类别分布、多项分布和高斯分布，以及其他常见分布和随机变量的变换。第3章把这些内容推广到联合分布、协方差与相关、多元高斯分布、线性高斯系统、指数族、混合模型，并初步介绍概率图模型。

第4章：统计

本章把学习看作参数估计：最大似然、经验风险最小化、矩估计等其他估计方法、正则化（包括 MAP 估计和验证集），带共轭先验的贝叶斯统计，以及涉及抽样分布、自助法和置信区间的频率派统计。

第5章：决策理论

在后验推断的基础上，本章说明如何借助损失函数把信念转化为行动，并以医疗决策和分类为例。内容包括贝叶斯决策理论（包括 ROC 和精确率—召回率分析）、模型选择、频率派决策理论与风险、经验风险最小化与泛化，以及频率派假设检验。

第6章：信息论

这一短章介绍熵、相对熵（KL 散度）和互信息，以及它们的性质和在机器学习中的用途。

第7–8章：线性代数；优化

第7章总结全书用到的线性代数：记号、矩阵乘法与求逆、特征值分解和奇异值分解、其他分解、线性方程组求解以及矩阵微积分。第8章介绍用于模型拟合的连续优化：一阶和二阶方法、随机梯度下降及其变体、约束优化、近端梯度法、界优化（包括 EM 算法）以及无导数方法。

第9–10章：线性判别分析；逻辑回归

第二部分"线性模型"从生成式分类器开始：高斯判别分析、朴素贝叶斯，以及生成式与判别式方法的比较。第10章讲二元和多项逻辑回归，包括最大似然拟合、正则化、稳健变体和贝叶斯逻辑回归。

第11–12章：线性回归；广义线性模型

第11章讨论最小二乘、岭回归和 lasso 回归、回归样条、稳健回归以及贝叶斯线性回归。第12章把这些模型统一为建立在指数族之上的广义线性模型，讨论连接函数和最大似然拟合，最后以预测保险索赔的完整示例结束。

第13–15章：用于表格数据的神经网络；用于图像的神经网络；用于序列的神经网络

第三部分"深度神经网络"把多层感知机介绍为可学习的特征变换，然后讲反向传播、训练中的问题（如梯度消失和学习率）以及正则化。第14章讲卷积网络：常用层、图像分类架构、其他形式的卷积、其他视觉任务，以及通过反演网络生成图像。第15章讲循环神经网络、一维卷积、注意力机制、Transformer、高效 Transformer，以及用于无监督表示学习的语言模型。

第16–18章：基于样例的方法；核方法；树、森林、装袋与提升

第四部分"非参数模型"从 K 近邻分类、度量学习和核密度估计开始。第17章介绍 Mercer 核、高斯过程和支持向量机。第18章讨论分类与回归树、集成学习、装袋（bagging）、随机森林、提升（boosting）以及解释树集成模型的方法。

第19章：用更少的标注样本学习

第五部分"超越监督学习"首先讨论应对标注不足的方法：数据增强、迁移学习、半监督学习、主动学习、元学习、小样本学习和弱监督学习。

第20–21章：降维；聚类

第20章介绍主成分分析、因子分析、自编码器、流形学习方法和词嵌入。第21章讨论聚类结果的评估、层次凝聚聚类、K 均值、基于混合模型的聚类、谱聚类和双聚类。

第22–23章：推荐系统；图嵌入

第22章讨论基于显式反馈和隐式反馈的推荐系统、辅助信息的利用以及探索—利用权衡。第23章把图嵌入表述为编码器—解码器问题，涵盖浅层嵌入、图神经网络、深度图嵌入及其应用。

附录 A：记号

附录汇总全书使用的记号和缩写。

核心概念

第1章：引言

• 概率视角：把预测和参数建模为带有分布的随机变量，以量化不确定性。
• 过拟合与泛化：过于贴合训练数据的模型可能对新数据预测不佳，因此测试误差才是关键。

第2–3章：概率

• 贝叶斯法则：观察数据后把先验信念更新为后验的公式。
• 多元高斯分布：向量上最核心的连续分布，由均值和协方差矩阵确定。
• 指数族：一大类具有便利充分统计量的分布，是广义线性模型的基础。

第4–6章：统计、决策理论与信息论

• 最大似然估计：选择使观测数据概率最大的参数。
• 正则化与 MAP 估计：惩罚复杂的参数设置，等价于加入先验。
• 贝叶斯决策理论：选择在后验下期望损失最小的行动。
• KL 散度：衡量一个概率分布与另一个分布差异程度的量。

第7–8章：线性代数与优化

• 奇异值分解：把矩阵分解为正交部分和对角部分，用于最小二乘和主成分分析。
• 随机梯度下降：用在小批量数据上计算的带噪声梯度来优化损失。

第9–12章：线性模型

• 生成式与判别式分类器：前者建模各类别中特征如何产生，后者直接建模类别概率。
• 岭回归与 lasso：带 ℓ2 或 ℓ1 惩罚的线性回归，后者会产生稀疏解。
• 广义线性模型：自然参数是输入线性函数的条件指数族模型。

第13–15章：深度神经网络

• 反向传播：利用链式法则高效计算网络损失的梯度。
• 卷积层：在整幅图像上应用同一组小型可学习滤波器的层。
• 注意力与 Transformer：让序列中每个位置能够加权利用其他位置信息的机制。

第16–18章：非参数模型

• 高斯过程：由核定义的函数上的分布，可给出带不确定性的预测。
• 支持向量机：最大化类别间间隔的核分类器。
• 提升与随机森林：树的集成，前者按顺序构建以纠正错误，后者在随机化的数据和特征上并行构建。

第19–23章：超越监督学习

• 迁移学习：把在某个任务或数据集上训练的模型用于帮助另一个标注很少的任务。
• 主成分分析：把数据投影到方差最大的方向上，用于压缩和可视化。
• 用于推荐的矩阵分解：用低维的用户因子和物品因子预测缺失的评分。

评析

优点

• 统一的视角。 正如前言所说，本书通过概率建模和贝叶斯决策理论来呈现机器学习，因此从朴素贝叶斯到神经网络和高斯过程的各种方法，都通过似然、先验和损失联系起来，而不是作为互不相关的配方出现。
• 自成体系的基础。 第一部分包括概率、统计、决策理论、信息论、线性代数和优化；前言说明，这些内容是为了让本书对学生更有用而新增的。读者可以在同一套记号下查阅背景知识。
• 广度与时新内容兼备。 在约 800 页的篇幅中，本书从经典线性模型一直讲到 Transformer、图神经网络、小样本学习和推荐系统，反映了 2021 年前后该领域的面貌。
• 可复现的图表与在线支持。 书中图表由 Python 笔记本生成（使用 NumPy、scikit-learn、JAX、PyTorch 等库），可在 Google Colab 中打开；许多练习的答案也已在线公布。

局限

• 内容密集，数学要求高。 本书推导节奏很快，尽管有复习章节，仍默认读者熟悉线性代数、多元微积分和概率；初学者把它当作第一本教材可能会感到吃力。
• 部分内容重广度轻深度。 许多小节，尤其是标有星号的高级内容和第五部分的内容，只是简要概述，并指向续作或文献，而不是完整论述。
• 练习分布不均。 只有部分章节末尾有练习，若干章节（例如图像和序列神经网络、树模型和聚类等章）没有练习。
• 部分主题留给续作。 生成模型、变分推断、深入的强化学习和因果推断等，大多留给了 Probabilistic Machine Learning: Advanced Topics。

在课程中的定位

在本机器学习与人工智能书单中，Murphy 的书是深入概率推导的教材。James 等人的 An Introduction to Statistical Learning with Applications in Python 是更易入手的配套读物，通常被认为以较少的数学和动手实验涵盖了类似的监督与无监督方法；初学者可以先学完它，再转向 Murphy，学习概率推导、贝叶斯处理和深度学习各章。Mitchell 的 Artificial Intelligence: A Guide for Thinking Humans 是非技术性的概览，可以提供背景，但不能作为技术准备。

Russell 和 Norvig 的 Artificial Intelligence: A Modern Approach 更广泛地覆盖人工智能，包括搜索、逻辑和规划，与本书是互补而非重叠的关系；Murphy 在引言中也把手工编程的人工智能与学习方法作了对比。Szeliski 的 Computer Vision 适合专攻视觉的学生，在 Murphy 第14章这类内容的基础上继续深入。

如何使用本书

本书适合已修过线性代数、多元微积分和概率、能用 Python 编程的计算机、统计或工程专业高年级本科生和研究生。第2–8章可以作为参考或复习材料，不必在开始前全部读完。

一学期的入门课程可以采用这样的路线：第1章，第2–5章的部分内容，第8章（梯度方法），第9–11章，第13章，再选第14–15章或第17–18章，最后学习第20–21章。前言指出，标有星号的小节和章节在入门课程中可以跳过。有练习的章节要做练习，并用在线答案核对；运行书中链接的 Colab 笔记本来复现和修改图表。续作 Probabilistic Machine Learning: Advanced Topics 从本卷结束处继续。

版本与来源

本导读依据 Probabilistic Machine Learning: An Introduction 日期为 2025 年 4 月 18 日的免费在线版（book1.pdf，CC BY-NC-ND 许可；印刷版由 MIT Press 于 2022 年出版），经由作者官方图书页面 https://probml.github.io/pml-book/book1.html 下载。内容取材于前言和致谢、简要目录与完整目录（含每个小节标题）、第1章开头一节及结尾讨论（全书结构与注意事项）的全文，以及全部 23 章的开篇小节，并统计了全书的练习数量。