Computer Vision: Algorithms and Applications（コンピュータビジョン：アルゴリズムと応用）

引用

Szeliski, R. (2022). Computer Vision: Algorithms and Applications (2nd ed.). Springer. 著者による無料オンライン版のページ：https://szeliski.org/Book

章の要約

第2版は15章と一群の付録からなり、本文は約725ページ、Springer版全体では925ページである。深層学習を軸に改訂された版で、著者はインタビューで、初版（2010年）は低レベル、中レベル、高レベルの視覚という従来の階層に沿っていたが、深層学習がその編成を覆したと述べている。以下の各章の長さはSpringerのページ範囲に基づいており、分量の配分が分かる。各章末に演習があり、出版社によればアルゴリズムの検証に重点を置き、中間課題向けの小さなプロジェクトの提案を含む。

第1章：序論（約26ページ）

冒頭の章は分野を紹介する。出版社によれば、カスタマイズされたプロジェクト型の授業など、さまざまな授業での本書の使い方のヒントを含む。

第2章：画像形成（約57ページ）

画像がシーンからどのように形成されるか。最初の技術的な章として、特徴、運動、3D構造に関する後の章の土台となる。

第3章：画像処理（約67ページ）

画像を変換し解析する基本操作。低レベル視覚の実用的な語彙である。

第4章：モデルフィッティングと最適化（約34ページ）

技術的な基礎の章の中で最も短い。モデルをデータに当てはめることと、後の章で繰り返し使われる最適化手法を扱う。

第5章：深層学習（約85ページ）

本書で最も長い章で、この版の主な新規内容である。著者は、より高度な深層学習の話題の部分を学生が執筆したと述べている。出版社は、この版が古典的なモデルとともに最新の深層学習モデルも扱うと説明している。

第6章：認識（約59ページ）

画像に何が写っているかをコンピュータがどう認識するか。

第7–9章：特徴検出とマッチング、画像のアラインメントとスティッチング、運動推定（約67、41、40ページ）

これらの章は、画像特徴の発見とマッチング、画像の位置合わせと貼り合わせ、フレーム間の運動の推定を扱う。

第10–14章：計算写真、Structure from MotionとSLAM、深度推定、3D再構成、画像ベースレンダリング（約60、52、44、42、42ページ）

後半は応用と3Dへ移る。計算写真、画像からのカメラ運動と構造の復元（SLAMを含む）、深度推定、3D形状の再構成、画像からの新しい視点の描画である。出版社は、モバイル計算写真、自律ナビゲーション、拡張現実などの応用を挙げている。

第15章：結論（3ページ）

ごく短い締めくくりの章。

付録

出版社は、線形代数、数値技法、推定理論、データセット、ソフトウェアに関する付録を挙げている。

主要概念

第1–4章：基礎

• 画像形成：3Dシーンと2D画像を結ぶ関係。
• 画像処理：画像を変換し解析するための操作。
• モデルフィッティングと最適化：データからパラメータを推定すること。

第5–6章：学習と認識

• 深層学習：著者の言葉では、好まれる手法の座を占めるようになったニューラルネットワークの手法。
• 認識：画像に何が含まれているかを特定すること。

第7–9章：特徴、位置合わせ、運動

• 特徴検出とマッチング：画像間で点を見つけて対応づけること。
• アラインメントとスティッチング、運動推定：複数の視点やフレームを関係づけること。

第10–14章：写真と3D

• 計算写真：画像の取得と処理のパイプライン。
• Structure from MotionとSLAM、深度推定、3D再構成、画像ベースレンダリング：3D情報の復元と利用。

批判的分析

長所

• 科学的でプロジェクト向きのアプローチ。 出版社は、コンピュータビジョンの問題を「科学的な方法」で定式化し、古典的モデルと深層学習モデルで分析すると説明している。演習はアルゴリズムの検証を重視し、中間課題向けの小さなプロジェクトを提案している。
• 深層学習の時代に合わせた更新。 第2版では、深層学習と、モバイル計算写真、自律ナビゲーション、拡張現実などの応用に関する新しい内容が加わり、新たな引用文献が約1,500件、新しい図が200点ある。第5章は本書で最長である。
• 無料で読める。 著者は個人利用向けの電子版を自身のサイトで提供しており、独習に特に向く。
• リファレンスとしての価値。 著者は本書を、引用文献が豊富なリファレンスと位置づけ、ある話題について知りたい人が、次に読む論文を見つける出発点になると述べている。

短所

• 初学者には参考文献が多い。 著者は、大量の参考文献が気を散らすと感じる学部生がいることを認め、参考文献を減らした短い本こそ理想的な学部向け教科書だと述べている。
• 範囲が非常に広い。 幾何、学習、写真、グラフィクス関連の話題にまたがる15章は、一つの授業では扱いきれず、読者は取捨選択が必要になる。
• 公式のスライドがない。 著者のページによれば、本書に公式のスライドはなく、関連する大学の授業のスライドがあるのみである。

コースにおける位置づけ

この機械学習・AIのコースの書籍リストの中で、Szeliski はビジョン分野の専門書である。James らの An Introduction to Statistical Learning with Applications in Python と Kevin Murphy の Probabilistic Machine Learning は、一般的な機械学習の基礎（前者は数学を抑えPythonの実習付き、後者は包括的な確率論的扱い）を与え、第5章の自然な背景になる。Russell と Norvig の Artificial Intelligence: A Modern Approach は視覚を含む幅広いAIの文脈を与え、Melanie Mitchell の Artificial Intelligence: A Guide for Thinking Humans は、現在のシステムにできることとできないことを平易に述べる。

最初の機械学習の授業を終え、関心が画像や動画に向かったときに Szeliski を読むとよい。

本書の使い方

出版社は、コンピュータサイエンスまたは工学の学部上級生・大学院生向けの授業での利用を勧めている。付録の一覧から、線形代数と数値計算が想定される道具立てであることが分かり、演習にはプログラミングの経験が必要である。

実践的な進め方：

• 中核： 基礎として第1–3章、フィッティングと最適化として第4章、深層学習として第5章、認識として第6章。
• 幾何の方向： 第7–9章、続いて第11–13章。本書の元になったワシントン大学の大学院の授業（CSE 576、2020年）は、おおよそ第1、2–3、4、5、6、7–8、9、12、11、13、10章の順に読み進めるよう指定していた。
• 応用： 第10章（計算写真）と第14章（画像ベースレンダリング）は、関心に応じて、幾何の方向とは独立に読める。
• 練習： 演習、特に小さなプロジェクトに取り組み、実装するつもりの話題については引用文献を読む。