Probabilistic Machine Learning: An Introduction（確率的機械学習 入門編）

引用

Murphy, K. P. (2022). Probabilistic Machine Learning: An Introduction. MIT Press. Free official edition: https://probml.github.io/pml-book/book1.html

章の要約

第1章：はじめに

序章は、Mitchell による「タスク・経験・性能」の定式化で機械学習を定義し、本書の立場を説明する。未知の量はすべて確率変数として扱う。確率は不確実性のもとでの意思決定の正しい基礎であり、他の科学と共有できる言語でもあるからだ。教師あり学習（アヤメの分類、多項式回帰、過学習と汎化）、教師なし学習（クラスタリング、潜在因子、自己教師あり学習）、強化学習、よく使われるデータセットと前処理を概観する。最後の議論では、機械学習を統計学、データサイエンス、AI と関係づけ、本書の五つの部の構成を示し、報酬ハッキングとアラインメント問題について注意を促す。

第2–3章：確率：一変量モデル、確率：多変量モデル

第 I 部「基礎」は確率から始まる。第2章は頻度主義とベイズ主義の解釈を対比し、確率変数、ベイズの定理、ベルヌーイ分布、二項分布、カテゴリカル分布、多項分布、ガウス分布、その他の代表的な分布、確率変数の変換を扱う。第3章はこれを同時分布、共分散と相関、多変量ガウス分布、線形ガウスシステム、指数型分布族、混合モデルへと広げ、確率的グラフィカルモデルを導入する。

第4章：統計学

この章は学習をパラメータ推定として扱う。最尤推定、経験リスク最小化、モーメント法などのその他の推定法、正則化（MAP 推定と検証用データを含む）、共役事前分布を用いるベイズ統計、そして標本分布、ブートストラップ、信頼区間を用いる頻度論的統計である。

第5章：決定理論

事後推論に基づいて、損失関数を用いて信念を行動に変える方法を、医療上の判断や分類の例で示す。ベイズ決定理論（ROC 曲線と適合率・再現率の分析を含む）、モデル選択、頻度論的決定理論とリスク、経験リスク最小化と汎化、頻度論的な仮説検定を扱う。

第6章：情報理論

短い章で、エントロピー、相対エントロピー（KL ダイバージェンス）、相互情報量と、その性質および機械学習での使い道を紹介する。

第7–8章：線形代数、最適化

第7章は本書全体で使う線形代数をまとめる。記法、行列の積と逆行列、固有値分解と特異値分解、その他の分解、連立一次方程式の解法、行列微積分である。第8章はモデルの当てはめのための連続最適化を扱う。一次法と二次法、確率的勾配降下法とその変種、制約付き最適化、近接勾配法、上界最適化（EM アルゴリズムを含む）、導関数を使わない方法である。

第9–10章：線形判別分析、ロジスティック回帰

第 II 部「線形モデル」は生成的分類器から始まる。ガウス判別分析、ナイーブベイズ、生成的アプローチと識別的アプローチの比較である。第10章は二値および多クラスのロジスティック回帰を、最尤推定による当てはめ、正則化、頑健な変種、ベイズロジスティック回帰とともに展開する。

第11–12章：線形回帰、一般化線形モデル

第11章は最小二乗法、リッジ回帰とラッソ回帰、回帰スプライン、頑健回帰、ベイズ線形回帰を扱う。第12章はこれらのモデルを指数型分布族に基づく一般化線形モデルとして統一し、リンク関数と最尤推定を論じ、保険請求の予測という具体例で締めくくる。

第13–15章：表形式データのためのニューラルネットワーク、画像のためのニューラルネットワーク、系列のためのニューラルネットワーク

第 III 部「深層ニューラルネットワーク」は、多層パーセプトロンを学習可能な特徴変換として導入し、誤差逆伝播法、学習上の問題（勾配消失や学習率など）、正則化を扱う。第14章は畳み込みネットワーク、すなわち代表的な層、画像分類のアーキテクチャ、その他の畳み込みの形、その他の視覚タスク、ネットワークの反転による画像生成を扱う。第15章は再帰型ネットワーク、一次元畳み込み、アテンション、Transformer、効率的な Transformer、そして教師なし表現学習に使われる言語モデルを扱う。

第16–18章：事例に基づく方法、カーネル法、木、森、バギング、ブースティング

第 IV 部「ノンパラメトリックモデル」は、K 近傍法による分類、距離計量の学習、カーネル密度推定から始まる。第17章はマーサーカーネル、ガウス過程、サポートベクターマシンを導入する。第18章は分類・回帰木、アンサンブル学習、バギング、ランダムフォレスト、ブースティング、木のアンサンブルを解釈する方法を扱う。

第19章：少ないラベル付き事例からの学習

第 V 部「教師あり学習を超えて」は、ラベルが少ないときの対処法から始まる。データ拡張、転移学習、半教師あり学習、能動学習、メタ学習、少数ショット学習、弱教師あり学習である。

第20–21章：次元削減、クラスタリング

第20章は主成分分析、因子分析、オートエンコーダ、多様体学習の手法、単語埋め込みを展開する。第21章はクラスタリング結果の評価、階層的凝集型クラスタリング、K 平均法、混合モデルによるクラスタリング、スペクトラルクラスタリング、バイクラスタリングを論じる。

第22–23章：推薦システム、グラフ埋め込み

第22章は明示的フィードバックと暗黙的フィードバックによる推薦システム、補助情報の活用、探索と活用のトレードオフを扱う。第23章はグラフ埋め込みをエンコーダ・デコーダの問題として示し、浅い埋め込み、グラフニューラルネットワーク、深いグラフ埋め込み、応用を扱う。

付録 A：記法

付録は本書全体で使われる記法と略語をまとめる。

主要概念

第1章：はじめに

• 確率的な視点：予測やパラメータを分布を持つ確率変数としてモデル化し、不確実性を定量化すること。
• 過学習と汎化：訓練データに合わせすぎたモデルは新しいデータをうまく予測できないことがあり、だからテスト誤差が重要になる。

第2–3章：確率

• ベイズの定理：データを観測した後に事前の信念を事後に更新する公式。
• 多変量ガウス分布：平均と共分散行列で定まる、ベクトル上の中心的な連続分布。
• 指数型分布族：扱いやすい十分統計量を持つ分布の広い族で、一般化線形モデルの基礎となる。

第4–6章：統計学、決定理論、情報理論

• 最尤推定：観測データの確率を最大にするパラメータを選ぶこと。
• 正則化と MAP 推定：複雑なパラメータ設定に罰則を与えることで、事前分布を加えることと同等である。
• ベイズ決定理論：事後分布のもとで期待損失を最小にする行動を選ぶこと。
• KL ダイバージェンス：ある確率分布が別の分布とどれだけ異なるかの尺度。

第7–8章：線形代数と最適化

• 特異値分解：行列を直交部分と対角部分に分解することで、最小二乗法や主成分分析に使われる。
• 確率的勾配降下法：ミニバッチで計算したノイズを含む勾配を使って損失を最適化すること。

第9–12章：線形モデル

• 生成的分類器と識別的分類器：各クラスで特徴がどう生じるかをモデル化するか、クラス確率を直接モデル化するか。
• リッジとラッソ：ℓ2 または ℓ1 の罰則付きの線形回帰で、後者は疎な解を生む。
• 一般化線形モデル：自然パラメータが入力の線形関数である条件付き指数型分布族のモデル。

第13–15章：深層ニューラルネットワーク

• 誤差逆伝播法：連鎖律を使ってネットワークの損失の勾配を効率よく計算すること。
• 畳み込み層：同じ小さな学習可能なフィルタを画像全体に適用する層。
• アテンションと Transformer：系列の各位置が他の位置の情報を重み付けして使えるようにする仕組み。

第16–18章：ノンパラメトリックモデル

• ガウス過程：カーネルで定まる関数上の分布で、不確実性付きの予測を与える。
• サポートベクターマシン：クラス間のマージンを最大化するカーネル分類器。
• ブースティングとランダムフォレスト：誤りを正すように逐次的に、あるいはランダム化したデータと特徴で並列に作る木のアンサンブル。

第19–23章：教師あり学習を超えて

• 転移学習：あるタスクやデータセットで訓練したモデルを、ラベルの少ない別のタスクに役立てること。
• 主成分分析：データを分散が最大の方向に射影し、圧縮や可視化に使うこと。
• 推薦のための行列分解：低次元のユーザ因子とアイテム因子から欠けている評価を予測すること。

批判的分析

長所

• 一つの統一的な視点。 序文が説明するとおり、本書は確率モデルとベイズ決定理論を通して機械学習を示すので、ナイーブベイズからニューラルネットワークやガウス過程までの手法が、互いに無関係なレシピとしてではなく、尤度、事前分布、損失を通じて結びつけられる。
• 自己完結した基礎。 第 I 部は確率、統計、決定理論、情報理論、線形代数、最適化を含む。序文によれば、これらは本書を学生にとってより役立つものにするために加えられた。読者は手法と同じ記法で背景知識を調べられる。
• 幅広さと新しい内容。 約 800 ページの中で、古典的な線形モデルから Transformer、グラフニューラルネットワーク、少数ショット学習、推薦システムまでを扱い、2021 年ごろの分野の姿を反映している。
• 再現可能な図とオンラインの支援。 図は Python のノートブック（NumPy、scikit-learn、JAX、PyTorch などのライブラリを使用）で生成され、Google Colab で開ける。多くの演習の解答もオンラインで公開されている。

短所

• 密度が高く、数学的な要求が大きい。 導出の進みが速く、復習の章があるとはいえ線形代数、多変数微積分、確率に慣れていることが前提となる。初学者が最初の教科書として使うのは難しいかもしれない。
• ところどころ深さより幅を優先。 多くの節、とくに上級を示す星印付きの節や第 V 部の節は簡潔な概観にとどまり、続編や文献を指し示すだけで完全な論述にはなっていない。
• 演習にばらつきがある。 演習は一部の章の末尾にしかなく、いくつかの章（画像や系列のニューラルネットワーク、木、クラスタリングの章など）には演習がない。
• 一部の話題は続編に委ねられている。 生成モデル、変分推論、本格的な強化学習、因果推論などは、主に Probabilistic Machine Learning: Advanced Topics に回されている。

コースにおける位置づけ

この機械学習と AI の書籍リストで、Murphy は確率論的な導出まで踏み込む教科書である。James らの An Introduction to Statistical Learning with Applications in Python はより易しい姉妹的な本で、一般に、似た教師あり・教師なしの手法を少ない数学と実習で扱う本とされる。分野に新しい学生はまずそちらを学び、その後 Murphy に進んで確率的な導出、ベイズ的な扱い、深層学習の章を学ぶとよい。Mitchell の Artificial Intelligence: A Guide for Thinking Humans は技術的でない概説であり、背景知識にはなるが技術的な準備にはならない。

Russell と Norvig の Artificial Intelligence: A Modern Approach は探索、論理、計画を含めて AI をより広く扱い、本書と重なるというより補い合う関係にある。Murphy 自身も序章で、手でプログラムする AI と学習とを対比している。Szeliski の Computer Vision は、視覚を専門とする学生が Murphy の第14章のような内容の上にさらに積み上げるための本である。

本書の使い方

本書は、線形代数、多変数微積分、確率を履修し、Python でプログラムが書ける情報科学、統計学、工学の学部上級生と大学院生に向いている。第2–8章は参考や復習の資料として使えばよく、始める前にすべて読む必要はない。

一学期の入門授業なら、第1章、第2–5章の一部、第8章（勾配法）、第9–11章、第13章、続いて第14–15章か第17–18章を選び、最後に第20–21章を学ぶという道筋が実際的である。序文は、星印の付いた節や章を入門の授業では飛ばしてよいとしている。演習のある章では演習に取り組み、オンラインの解答で確認し、リンクされた Colab のノートブックを実行して図を再現・改変するとよい。続編 Probabilistic Machine Learning: Advanced Topics が本巻の終わりから先を扱う。

版と出典

本ガイドは、著者の公式ページ https://probml.github.io/pml-book/book1.html から入手した Probabilistic Machine Learning: An Introduction の 2025年4月18日付の無料オンライン版（book1.pdf、CC BY-NC-ND ライセンス。印刷版は MIT Press より 2022 年刊）に基づく。序文と謝辞、簡略目次とすべての節題を含む完全な目次、第1章の冒頭の節と最後の議論（本書の構成と注意点）の全文、そして全 23 章の冒頭の節を参照し、本書全体の演習の数も確認している。