Computer Vision: Algorithms and Applications（電腦視覺：演算法與應用）

引用

Szeliski, R. (2022). Computer Vision: Algorithms and Applications (2nd ed.). Springer. 作者提供免費線上版本的頁面：https://szeliski.org/Book

章節概要

第二版共十五章，另有一組附錄，正文約725頁，Springer版全書共925頁。這是圍繞深度學習修訂的一版：作者在訪談中說，第一版（2010年）沿用低層、中層、高層視覺的傳統分層，而深度學習顛覆了這種組織方式。下面各章的篇幅依據Springer的頁碼範圍，可看出全書的分量分佈。每章末尾都有習題，出版社稱這些習題強調對演算法的測試，並包含適合作為期中小專案的建議。

第1章：導論（約26頁）

開篇一章介紹這一領域；據出版社介紹，其中包含針對各種定製化、以專案為主的課程如何使用本書的提示。

第2章：影像形成（約57頁）

影像如何由場景形成。作為第一章技術性內容，它支撐後面關於特徵、運動和三維結構的各章。

第3章：影像處理（約67頁）

對影像進行變換和分析的基本操作，是低層視覺的工作詞彙。

第4章：模型擬合與最佳化（約34頁）

技術基礎各章中最短的一章；講述用模型擬合數據，以及後續各章反覆使用的最佳化方法。

第5章：深度學習（約85頁）

全書最長的一章，也是本版的主要新增內容。作者說明，較高階的深度學習專題由一名學生撰寫。出版社指出，本版在經典模型之外也處理了最新的深度學習模型。

第6章：辨識（約59頁）

計算機如何辨識影像所包含的內容。

第7–9章：特徵檢測與匹配；影像對齊與拼接；運動估計（約67、41和40頁）

這幾章涵蓋影像特徵的發現與匹配、影像的對齊與拼接，以及幀間運動的估計。

第10–14章：計算攝影；運動恢復結構與SLAM；深度估計；三維重建；基於影像的彩現（約60、52、44、42和42頁）

後半部分轉向應用與三維：計算攝影、從影像恢復相機運動與結構（包括SLAM）、深度估計、三維形狀重建，以及由影像彩現新檢視。出版社點名的應用包括移動計算攝影、自動導航和擴增實境。

第15章：結論（3頁）

非常簡短的結束章。

附錄

出版社列出的附錄涉及線性代數、數值技術、估計理論、資料集和軟體。

核心概念

第1–4章：基礎

• 影像形成：三維場景與二維影像之間的聯絡。
• 影像處理：用於變換和分析影像的操作。
• 模型擬合與最佳化：從資料估計引數。

第5–6章：學習與辨識

• 深度學習：用作者的話說，已成為首選技術的神經網路方法。
• 辨識：判斷影像包含什麼。

第7–9章：特徵、對齊與運動

• 特徵檢測與匹配：在多幅影像之間找到並關聯點。
• 對齊與拼接；運動估計：關聯多個檢視和多幀影像。

第10–14章：攝影與三維

• 計算攝影：影像的採集與處理流程。
• 運動恢復結構與SLAM；深度估計；三維重建；基於影像的彩現：恢復並利用三維資訊。

評析

優點

• 科學且適合專案的取徑。 出版社稱本書以「科學的方法」表述計算機視覺問題，並用經典模型和深度學習模型加以分析；習題強調測試演算法，並給出適合期中小專案的建議。
• 更新到深度學習時代。 第二版新增了關於深度學習以及移動計算攝影、自動導航、擴增實境等應用的內容，並有約1,500條新引文和200幅新圖。第5章是全書最長的一章。
• 可免費閱讀。 作者在網站上提供供個人使用的電子版，使本書特別適合自學。
• 參考價值。 作者把本書描述為一本參考書，書中參考文獻密集，是想了解某個主題以及下一步該讀哪些論文的人的起點。

侷限

• 對初學者而言參考文獻偏多。 作者承認，一些本科生覺得大量的參考文獻分散注意力，並表示篇幅更短、參考文獻更少的書才是理想的本科教材。
• 範圍很廣。 十五章涵蓋幾何、學習、攝影及與圖形學相關的主題，一門課無法講完，讀者需要取捨。
• 沒有官方投影片。 作者的頁面說明本書沒有官方投影片，只有相關大學課程的投影片。

在課程中的定位

在這份機器學習與人工智慧的課程書單中，Szeliski 是視覺方向的專門著作。James 等人的 An Introduction to Statistical Learning with Applications in Python 和 Kevin Murphy 的 Probabilistic Machine Learning 提供一般的機器學習基礎（前者數學要求很低、帶Python實驗，後者是全面的機率論述），是閱讀第5章的自然背景。Russell 與 Norvig 的 Artificial Intelligence: A Modern Approach 給出包括視覺在內的廣泛AI背景，Melanie Mitchell 的 Artificial Intelligence: A Guide for Thinking Humans 則以通俗、非技術的方式說明當前系統能做什麼、不能做什麼。

在學過第一門機器學習課程之後，當興趣轉向影像和影片時再讀 Szeliski。

如何使用本書

出版社建議將本書用於電腦科學或工程專業的高年級本科或研究生課程；附錄清單表明線性代數和數值方法屬於預期的知識工具，完成習題還需要程式設計實踐。

建議的學習安排：

• 核心： 第1–3章學習基礎，第4章學習擬合與最佳化，第5章學習深度學習，第6章學習辨識。
• 幾何路線： 第7–9章，然後是第11–13章。本書源自華盛頓大學的研究生課程（CSE 576，2020年），該課程大致按第1、2–3、4、5、6、7–8、9、12、11、13、10章的順序佈置閱讀。
• 應用： 第10章（計算攝影）和第14章（基於影像的彩現）可以根據興趣，獨立於幾何路線閱讀。
• 練習： 做習題，尤其是小專案；對於打算實現的任何主題，請閱讀所引用的論文。